Python采集网站ip代理, 检测IP代理是否可用（python selenium 代理ip）

开发环境

Python 3.8

Pycharm

模块使用

requests >>> pip install requests

parsel >>> pip install parsel

代理ip结构

proxies_dict = {

"http": "http://" + ip:端口,

"https": "http://" + ip:端口,

}

对于本篇文章有疑问的同学可以加【资料白嫖、解答交流群：910981974】

代码实现步骤:

1. 导入模块

2. 发送请求, 对于目标网址发送请求 https://kuaidaili.com/free/

url = f'https://kuaidaili.com/free/inha/{page}/' # 确定请求url地址

# 用requests模块里面get 方法 对于url地址发送请求, 最后用response变量接收返回数据

response = requests.get(url)

3. 获取数据, 获取服务器返回响应数据(网页源代码)

print(response.text)

4. 解析数据, 提取我们想要的数据内容

解析数据方式方法：

正则: 可以直接提取字符串数据内容

xpath: 根据标签节点 提取数据内容

css选择器: 根据标签属性提取数据内容

哪一种方面用那种, 那是喜欢用那种

正则表达式提取数据内容

正则提取数据 re.findall() 调用模块里面的方法

正则 遇事不决 .*? 可以匹配任意字符(除了换行符\n以外) re.S

ip_list = re.findall('(.*?)', response.text, re.S)

port_list = re.findall('(.*?)', response.text, re.S)

print(ip_list)

print(port_list)

css选择器:

css选择器提取数据 需要把获取下来html字符串数据(response.text) 进行转换

xpath 提取数据

selector = parsel.Selector(response.text) # 把html 字符串数据转成 selector 对象

ip_list = selector.xpath('//*[@id="list"]/table/tbody/tr/td[1]/text()').getall()

port_list = selector.xpath('//*[@id="list"]/table/tbody/tr/td[2]/text()').getall()

提取ip

5. 检测ip质量

出处：https://cnblogs.com/qshhl/p/15834836.html

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。