Python--Selenium库使用（Python Selenium）

新闻hao123

通过link text定位：

dr.find_element_by_link_text("新闻")dr.find_element_by_link_text("hao123")

通过partial link text定位：

dr.find_element_by_partial_link_text("新")dr.find_element_by_partial_link_text("hao")dr.find_element_by_partial_link_text("123")

控制浏览器

常用的控制浏览器操作的一些方法

???? 示例

from selenium import webdriverfrom time import sleep#1.创建Chrome浏览器对象，这会在电脑上在打开一个浏览器窗口browser = webdriver.Chrome(executable_path= "chromedriver.exe")#2.通过浏览器向服务器发送URL请求browser.get("window.scrollTo(左边距,上边距); -->window.scrollTo(0,450);

from selenium import webdriverfrom time import sleep# 1.访问百度drive = webdriver.Chrome(executable_path='chromedriver.exe')drive.get('2.搜索drive.find_element_by_id('kw').send_keys('python')drive.find_element_by_id('su').click()# 3.休眠2s,获取服务器的响应内容sleep(2)# 4.通过javascript设置浏览器窗口的滚动条位置drive.execute_script('window.scrollTo(0, 500)')# drive.execute_script('window.scrollTo(0, document.body.scrollHeight)') #滑到最底部sleep(2)drive.close()

获取页面源码数据

通过​​page_source​​属性可以获取网页的源代码，接着就可以使用解析库（如正则表达式、Beautiful Soup、pyquery等）来提取信息了。

???? 示例

from selenium import webdriverfrom time import sleep# 1.访问百度drive = webdriver.Chrome(executable_path='chromedriver.exe')drive.get('2.搜索drive.find_element_by_id('kw').send_keys('python')drive.find_element_by_id('su').click()# 3.休眠2s,获取服务器的响应内容sleep(2)# 4.获取页面源码数据text = drive.page_sourceprint(text)drive.close()

cookie操作

有时候我们需要验证浏览器中cookie是否正确，因为基于真实cookie的测试是无法通过白盒和集成测试进行的。WebDriver提供了操作Cookie的相关方法，可以读取、添加和删除cookie信息。

WebDriver操作cookie的方法：

???? 示例

from selenium import webdriverdrive = webdriver.Chrome(executable_path='chromedriver.exe')drive.get('1.打印cookie信息print(drive.get_cookies())# 2.添加cookie信息dic = {'name':'name', 'value':'python'}drive.add_cookie(dic)print(drive.get_cookies())# 3.遍历打印cookie信息for cookie in drive.get_cookies(): print(f"{cookie['name']}---f{cookie['value']}\n")drive.close()

谷歌无头浏览器

PhantomJs已停止维护更新，这里使用谷歌的无头浏览器，是一款无界面的谷歌浏览器。很多时候我们爬取数据，并不想打开一个浏览器窗口进行操作，我们只需要获取数据或者拿到cookie然后进行操作。

???? 示例

from selenium import webdriverfrom selenium.webdriver.chrome.options import Options# 1.创建一个参数对象，用来控制chrome以无界面模式打开chrome_options = Options()chrome_options.add_argument('--headless')chrome_options.add_argument('--disable-gpu')# 2.创建浏览器对象drive = webdriver.Chrome(executable_path='chromedriver.exe', chrome_options=chrome_options)# 3.发起请求获取数据drive.get('= drive.page_sourceprint(page_text)drive.close()

selenium规避被检测识别

现在不少大网站有对selenium采取了监测机制。比如正常情况下我们用浏览器访问淘宝等网站的 window.navigator.webdriver的值为 undefined。而使用selenium访问则该值为true。那么如何解决这个问题呢？

只需要设置Chromedriver的启动参数即可解决问题。在启动Chromedriver之前，为Chrome开启实验性功能参数​​excludeSwitches​​​，它的值为​​['enable-automation']​​，完整代码如下：

???? 示例

from selenium import webdriverfrom selenium.webdriver import ChromeOptions# 1.实例化一个ChromeOptions对象option = ChromeOptions()option.add_experimental_option('excludeSwitches', ['enable-automation'])# 2.将ChromeOptions实例化的对象option作为参数传给Crhome对象driver = webdriver.Chrome(executable_path='chromedriver.exe', options=option)# 3.发起请求driver.get('https://taobao.com/')

人生是条无名的河，是浅是深都要过； 人生是杯无色的茶，是苦是甜都要喝； 人生是首无畏的歌，是高是低都要唱。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。