爬虫杂记（虫虫爬爬爬）

爬虫杂记（虫虫爬爬爬）

获取响应返回的cookie:

res = requests.get("xxx")print(res.cookies)

搜json.parse 或 var  xxx

Fiddler 费德勒 飞的了

启动fiddler之后，IE浏览器代理就被fiddler改掉了============replace : 回放go: 让断点向下走

stream:代理模式的选择，流模式和缓冲模式之间切换，默认是缓存模式【缓存模式：当请求的响应全部返回给FD时，才显示出来】Decode: 将:保持多少会话，越多越占用内存any process:过滤请求find： 过滤请求url的save：保存已经捕获的会话照相机：截图clear cache:清理缓存TextWizard:[url]编解码tearoff:分离面板===状态栏capturing:是否启用捕获会话功能web browser:过滤会话来源========监控面板statistic:数据统计，反映性能指标inspectors:对请求解包，看到请求的详细信息：请求头、响应。若是post请求，可以在webform里看到传递的参数autoresponder:文件代理，可以用来截获文件，从本地返回composer：前后端接口联调

session

js反混淆：​​是一个可以使用 Python 来模拟运行 JavaScript 的库。我们需要pip install PyExecJS对其进行环境安装

1 什么是Fiddler?    Fiddler是位于客户端和服务器端的HTTP代理，也是目前最常用的。 它能够记录客户端和服务器之间的所有 HTTP请求，可以针对特定的HTTP请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是web调试的利器。

既然是代理，也就是说：客户端的所有请求都要先经过Fiddler，然后转发到相应的服务器，反之，服务器端的所有响应，也都会先经过Fiddler然后发送到客户端，基于这个原因，Fiddler支持所有可以设置手机APP抓包设置

a. Fiddler设置

打开Fiddler软件，打开工具的设置。(Fiddler软件菜单栏：Tools->Options)

在HTTPS中设置如下：

在Connections中设置如下，这里使用默认8888端口，当然也可以自己更改，但是注意不要与已经使用的端口冲突：

Allow remote computers to connect:允许别的机器把请求发送到fiddler上来

Android手机安装：把证书放入手机的内置或外置存储卡上，然后通过手机的"系统安全-》从存储设备安装"菜单安装证书。

苹果手机安装：

- 保证手机网络和fiddler所在机器网络是同一个网段下的

- 在safari中访问在手机中的设置-》通用-》关于本机-》证书信任设置-》开启fiddler证书信任

e. Fiddler手机抓包测试

上述步骤都设置完成之后，用手机浏览器打开百度首页，我们就可以顺利抓包了

======

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。