Python爬虫技术--入门篇--实现流程

Python爬虫技术--入门篇--实现流程

1.上一篇讲了爬虫概述和urllib库，这篇讲解如何获取数据

打开上次写好的spider.py文件,继续写入以下代码：

# -*- coding=utf-8 -*-# @Time : 2020/12/16 0016 下午 7:09# @Author :东南大学软件学院陈洋# @File :spider.py# @Software :PyCharmfrom bs4 import BeautifulSoup #网页解析，获取数据import re #正则表达式，进行文字匹配import urllib.request,urllib.error #制定URL，获取网页数据import xlwt #进行excel操作import sqlite3 #进行sqlite数据库操作def main(): baseurl=" #1.爬取网页 datalist=getData(baseurl) savepath=".\\豆瓣电影Top250.xls" #3.保存数据 # saveData(savepath) askURl("getData(baseurl): datalist=[] for i in range(0,10): #调用获取信息的函数10次 url=baseurl+str(i*25) html=askURl(url) #保存获取到的网页源码 # 2.逐一解析数据 return datalist#得到指定URL网页内容def askURl(url): head={ #模拟浏览器头部信息，向豆瓣服务器发送请求 "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36" } #用户代理，表示告诉豆瓣服务器，我们是什么类型的机器 request=urllib.request.Request(url,headers=head) html="" try: response=urllib.request.urlopen(request) html=response.read().decode("utf-8") print(html) except urllib.error.URLError as e: if hasattr(e,"code"): print(e.code) if hasattr(e,"reason"): print(e.reason) return html#3.保存数据def saveData(savepath): print("save....")if __name__=="__main__": #当程序执行时 #调用函数 main()

View Code

补充beautifulsoup知识(见视频，不多赘述)下面是正则表达式

正则提取：

继续再spider.py写入以下代码：爬取豆瓣第一页所有的链接

# -*- coding=utf-8 -*-# @Time : 2020/12/16 0016 下午 7:09# @Author :东南大学软件学院陈洋# @File :spider.py# @Software :PyCharmfrom bs4 import BeautifulSoup #网页解析，获取数据import re #正则表达式，进行文字匹配import urllib.request,urllib.error #制定URL，获取网页数据import xlwt #进行excel操作import sqlite3 #进行sqlite数据库操作def main(): baseurl=" #1.爬取网页 datalist=getData(baseurl) savepath=".\\豆瓣电影Top250.xls" #3.保存数据 # saveData(savepath) # askURl(" #创建正则表达式对象，表示规则（字符串的模式）#爬取网页def getData(baseurl): datalist=[] for i in range(0,1): #调用获取信息的函数10次 url=baseurl+str(i*25) html=askURl(url) #保存获取到的网页源码 # 2.逐一解析数据 soup=BeautifulSoup(html,"html.parser") for item in soup.find_all('div',class_="item"): #查找符合要求的字符串，形成列表 # print(item) #查看电影item全部信息 dada=[] #保存一部电影的全部信息 item=str(item) link=re.findall(findLink,item)[0] #re库用来通过正则表达式查找指定的字符串 print(link) return datalist#得到指定URL网页内容def askURl(url): head={ #模拟浏览器头部信息，向豆瓣服务器发送请求 "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36" } #用户代理，表示告诉豆瓣服务器，我们是什么类型的机器 request=urllib.request.Request(url,headers=head) html="" try: response=urllib.request.urlopen(request) html=response.read().decode("utf-8") # print(html) except urllib.error.URLError as e: if hasattr(e,"code"): print(e.code) if hasattr(e,"reason"): print(e.reason) return html#3.保存数据def saveData(savepath): print("save....")if __name__=="__main__": #当程序执行时 #调用函数 main()

View Code

运行如下：

继续写入以下代码，可以打印一页所有信息（比如下面网址，图片地址，片名等信息）

View Code

运行结果如下：

2.保存数据到excel

至此完成爬虫项目至excel中。

几点说明：1.当运行次数过多可能出现：Process finished with exit code 0，也没找到好的解决办法，要换个Ip可能有用；

还可能代码运行如下，因为被禁止访问了。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。