利用python爬虫(part13)--requests模块之requests.get的参数们（python中requests.get用法）

利用python爬虫(part13)--requests模块之requests.get的参数们（python中requests.get用法）

学习笔记

requests.get()方法的参数们

查询参数params

语法

params = {'查询参数':'查询参数值'}res = requests.get(base_url,params=params,headers=headers)#base_url为不包含查询参数的基本url#params的参数值为字典类型，字典中键值对作为查询参数#比如：{'kw':'兔子', 'pn':100}

requests.get方法在发起请求之前，会先对params查询参数进行编码, 编码后的查询参数会自动的和base_url进行拼接，拼接成一个完整的url地址后，再向网站发起请求。

举个例子(对兔子吧发起请求，并获取HTTP响应码)

代码：

import requestsbase_url = '= {'kw':'兔子', 'pn':100}headers = {'User-Agent':"Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 7.0; InfoPath.3; .NET CLR 3.1.40767; Trident/6.0; en-IN)"}res = requests.get(base_url,params=params,headers=headers)print(res.status_code)

输出：

200[Finished in 6.0s]

Web客户端验证参数auth

有的时候，我们访问一个网站，需要先通过网站的用户名和密码验证，才可以访问里面的内容。这时，我们就需要设置requests.get方法里的auth参数。

语法

auth = ('username','password')res = requests.get(url,auth=auth,headers=headers)#auth的参数值为元祖类型，元祖中为用户名和密码

证书认证参数verify

介绍这个参数之前，我们阐述一下：无连接的含义是，限制每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接，采用这种方式可以节省传输时间。

备注2 ：SSL是Secure Sockets Layer（安全套接层协议）的缩写，可以在Internet上提供秘密性传输。SSL协议标准的目标是保证两个应用间通信的保密性和可靠性,可在服务器端和用户端同时实现支持。

现在我们再阐述一下CA证书认证。

为啥要阐述这个？只要因特网服务类型是那么就会抛出一个SSLError 异常，进而我们就无法正常访问这个网站。此时！我们就可以通过设置verify参数为False，忽略证书认证，访问网站。

语法

res = requests.get(url,headers=headers,verify=False);#verify默认为True

代理IP参数proxies

作用

当我们用自己的IP对某个网站进行爬虫时，如果对方的服务器发现我们是爬虫，那就有可能会封掉我们的IP, 在一段时间内，我们就不能用我们的IP地址進行網站的访问了。

但是！如果我们用代理IP去爬取网站，网站封掉的也是代理IP地址，不会封掉我们的IP地址，当代理IP被封掉时，我们就可以换一个代理IP，继续爬取~嘿嘿嘿。

那么我们如何获取代理IP地址？去网上搜吧，网上有很多免费的，或者花钱买也行。

还要注意一点，代理IP还分为高匿代理IP和透明代理IP,当我们用高匿代理IP去访问网站时，对方的web服务器只能看到代理IP的地址，但如果我们用透明代理IP去访问网站，对方的web服务器不仅能看到代理IP的地址，同时也能看到我们自己的IP地址。

语法

proxies = {'协议':'协议://IP:端口号'}#比如：proxies = {'= {'= requests.get(url,proxies=proxies,headers=headers);

这里就不举代理IP的例子了，因为从十分钟前到现在(2020年4月11日21:06:43)我还没有找到能用的免费代理IP(也可能是我自己代码没敲好？？)。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。