脚本宝典收集整理的这篇文章主要介绍了selenium爬虫教学,脚本宝典觉得挺不错的,现在分享给大家,也给大家做个参考。
Selenium爬虫语法总结
供个人学习需要进行整理
了解网页的元素和属性
加载浏览器
- 导入包
- from selenium import webdriver
- from selenium.webdriver.common.by import By(选择选择元素的方式)
- 加载浏览器驱动
- web = webdriver.Chrome(r'chromedriver.exe')
- WebDriver 对象,指明了浏览器驱动的地址
- web是返回值,对象实例化
- 获取网页
- web.get('https://www.baidu.com')
设置最大等待时间
关闭浏览器
根据id 属性选择元素
- element = web.find_element(By.ID, str)
- key=web.find_element_by_id(str)
- 元素操作
根据class属性、tag名选择元素
- 根据class属性选择元素
- elements = web.find_elements(By.CLASS_NAME, str)
- 返回的是标签对象即WebElement对象
- 取出列表中的每个 WebElement对象,打印出其text属性的值
- 根据 tag 名 选择元素,如div等标签
- elements = web.find_elements(By.TAG_NAME, str)
- 其余方法一致
- find_element 和 find_elements 的区别
控制元素
- 点击元素
- 输入框
- 清除输入框已有的字符串:element.clear()
- 输入新字符串:element.send_keys(str)
- 补充:
- element.get_attribute('innerText')
- element.get_attribute('textContent')
- 获取元素信息
- 获取元素的文本内容
- 获取元素属性
- element.get_attribute('class')
- 获取整个元素对应的HTML
- element.get_attribute('outerHTML')获取外部
- element.get_attribute('innerHTML')获取内部
- 获取输入框里面的文字
- element.get_attribute('value')
利用CSS表达式选择元素
- web.find_element(By.CSS_SELECTOR, CSS Selector参数)
- 选择元素
- id使用#+id值表示
- class使用.+class值表示
- 属性选择使用 [属性名字] [href="http://www.baidu.com"]
- 选择属性值包含某个字符串的元素
- 选择属性值以某个字符串开头的元素
- 选择属性值以某个字符串结尾的元素
- 选择的同时具有多个属性的元素要
- div[class="result c-container new-pmd"][id="1"]
- 其他值可以直接填写
- 选择子元素和后代子元素
- 直接子元素
- 元素1 > 元素2
- 元素1 > 元素2 > 元素3
- 后代子元素
- 选择语法联合使用进行选择
- div.foot > span.copy
- .foot > .copy
- .foot .copy
- 组选择
- .a , .b
- id为1里面的span和p元素?
- #1 > span , p
- #1 > span , #1 > p
- 按次序选择子节点
- 父元素的第n个子节点
- nth-child
- span:nth-child(2)
- #t1 :nth-child(2)
- http://cdn1.python3.vip/files/selenium/sample1b.html
- 父元素的倒数第n个子节点
- nth-last-child
- p:nth-last-child(1)
- #t1 span:nth-last-child(2)
- #t1 :nth-last-child(2)
- 父元素的第几个某类型的子节点
- nth-of-type
- span:nth-of-type(1)
- div#t1 span:nth-of-type(1)
- 父元素的倒数第几个某类型的子节点
- nth-last-of-type
- p:nth-last-of-type(2)
- div p:nth-last-of-type(2)
- 奇数节点和偶数节点
- p:nth-child(even)偶数
- p:nth-child(odd)奇数
- 兄弟节点选择
- 相邻兄弟节点选择
- 使用 “+”
- h3 后面紧跟着的兄弟节点 span
- 后续所有兄弟节点选择
脚本宝典总结
以上是脚本宝典为你收集整理的selenium爬虫教学全部内容,希望文章能够帮你解决selenium爬虫教学所遇到的问题。
如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典推荐好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。