利用python爬虫(part12)--随机获取UserAgent

利用python爬虫(part12)--随机获取UserAgent

学习笔记

fake_useragent模块

通常，我都是自己在网上找User-Agent，然后写一个模块，把收集到的User-Agent一股脑塞进这个模块中，爬虫的时候再import这个模块，随机调用模块里的User-Agent。

现在，有一个fake_useragent模块，可以在线随机生成User-Agent供我们使用，似不似很方便？

语法

from fake_useragent import UserAgentua = UserAgent()user_agent = ua.random

举个例子

我们向测试网站(当我们向这个网站发起请求时，网站会返回我们的请求头)发起请求, 并打印出网站响应给我们的内容：

from fake_useragent import UserAgentimport requestsurl = '= UserAgent()headers = {'User-Agent':ua.random}html = requests.get(url, headers = headers).content.decode('utf-8')print(html)

输出：

{ "args": {}, "headers": { "Accept": "*/*", "Accept-Encoding": "gzip, deflate", "Host": " "User-Agent": "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 7.0; InfoPath.3; .NET CLR 3.1.40767; Trident/6.0; en-IN)", "X-Amzn-Trace-Id": "Root=1-5e915065-2d8689c8c024b608cb156ba0" }, "origin": "60.171.97.20", "url": "in 4.1s]

可以看到fake_useragent模块的确帮助我们生成了一个User-Agent。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。