Scrapy对接Selenium（scrapy模块）

首先pip安装selenium，然后下载浏览器驱动

WebDrive下载地址

chrome的webdriver：http://chromedriver.storage.googleapis.com/index.html

Firefox Firefox驱动下载地址为：https://github.com/mozilla/geckodriver/releases/

根据操作系统，以及浏览器版本，下载相应的驱动，并将下载的webdriver的路径设置到环境变量中

将下载好的zip解压出来、直接将里面的exe文件放到运行环境的目录下即可

简单使用

在中间件进行操作，不去调用下载器，直接返回一个response对象

导入包：from selenium import webdriver

无窗口模式

再导入一个包：from selenium.webdriver.chrome.options import Options

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。