【分享篇】Python爬虫方向的第三方库合集！（python 爬虫 库）

【分享篇】Python爬虫方向的第三方库合集！（python 爬虫 库）

提到Python爬虫，相信大家一定不陌生，Python可应用的领域不止爬虫，还包括人工智能、后端开发、机器学习等，今天借本篇文章给大家介绍下Python爬虫的三方库都有哪些，请看下文：

网络(通用)

urllib-网络库(stdlib)

requests-网络库

grab-网络库(基于pycurl)

pycurl-网络库(绑定libcurl)

urllib3-Python HTTP库，安全连接池、支持文件post、可用性高

for Python-Unirest是一套可用于多种语言的轻量级的HTTP库

hyper-Python的HTTP/2客户端

PySocks-SocksiPy更新并积极维护的版本，包括错误修复和一些其他的特征。作为socket模块的直接替换。

异步：

treq-类似于requests的API(基于twisted)

aiohttp-asyncio的HTTP客户端/服务器(PEP-3156)

网络爬虫框架

功能齐全的爬虫

grab-网络爬虫框架(基于pycurl/multicur)

scrapy-网络爬虫框架(基于twisted)，不支持Python3

pyspider-一个强大的爬虫系统

cola-一个分布式爬虫框架

其他

portia-基于Scrapy的可视化爬虫

restkit-Python的HTTP资源工具包。它可以让你轻松地访问HTTP资源，并围绕它建立的对象

demiurge-基于PyQuery的爬虫微框架

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。