java 单机接口限流处理方案
886
2022-06-06
爬虫库
使用简单的requests库,这是一个阻塞的库,速度比较慢。
解析使用XPATH表达式
总体采用类的形式
多线程
使用concurrent.future并发模块,建立线程池,把future对象扔进去执行即可实现并发爬取效果
数据存储
使用Python ORM sqlalchemy保存到数据库,也可以使用自带的csv模块存在CSV中。
API接口
因为API接口存在数据保护情况,一个电影的每一个分类只能抓取前25页,全部评论、好评、中评、差评所有分类能爬100页,每页有20个数据,即最多为两千条数据。
因为时效性原因,不保证代码能爬到数据,只是给大家一个参考思路,上代码:
from datetime import datetime import random import csv from concurrent.futures import ThreadPoolExecutor, as_completed from lxml import etree import pymysql import requests from models import create_session, Comments #随机UA USERAGENT = [ 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36', 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0', 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50', 'Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50', 'Mozilla/5.0 (Windows; U; Windows NT 6.1; ) AppleWebKit/534.12 (KHTML, like Gecko) Maxthon/3.0 Safari/534.12' ] class CommentFetcher: headers = {'User-Agent': ''} cookie = '' cookies = {'cookie': cookie} # cookie为登录后的cookie,需要自行复制 base_node = '//div[@]' def __init__(self, movie_id, start, type=''): ''' :type: 全部评论:'', 好评:h 中评:m 差评:l :movie_id: 影片的ID号 :start: 开始的记录数,0-480 ''' self.movie_id = movie_id self.start = start self.type = type self.url = 'https://movie.douban.com/subject/{id}/comments?start={start}&limit=20&sort=new_score\&status=P&percent_type={type}&comments_only=1'.format( id=str(self.movie_id), start=str(self.start), type=self.type ) #创建数据库连接 self.session = create_session() #随机useragent def _random_UA(self): self.headers['User-Agent'] = random.choice(USERAGENT) #获取api接口,使用get方法,返回的数据为json数据,需要提取里面的HTML def _get(self): self._random_UA() res = '' try: res = requests.get(self.url, cookies=self.cookies, headers=self.headers) res = res.json()['html'] except Exception as e: print('IP被封,请使用代理IP') print('正在获取{} 开始的记录'.format(self.start)) return res def _parse(self): res = self._get() dom = etree.HTML(res) #id号 self.id = dom.xpath(self.base_node + '/@data-cid') #用户名 self.username = dom.xpath(self.base_node + '/div[@]/a/@title') #用户连接 self.user_center = dom.xpath(self.base_node + '/div[@]/a/@href') #点赞数 self.vote = dom.xpath(self.base_node + '//span[@]/text()') #星级 self.star = dom.xpath(self.base_node + '//span[contains(@class,"rating")]/@title') #发表时间 self.time = dom.xpath(self.base_node + '//span[@]/@title') #评论内容 所有span标签class名为short的节点文本 self.content = dom.xpath(self.base_node + '//span[@]/text()') #保存到数据库 def save_to_database(self): self._parse() for i in range(len(self.id)): try: comment = Comments( id=int(self.id[i]), username=self.username[i], user_center=self.user_center[i], vote=int(self.vote[i]), star=self.star[i], time=datetime.strptime(self.time[i], '%Y-%m-%d %H:%M:%S'), content=self.content[i] ) self.session.add(comment) self.session.commit() return 'finish' except pymysql.err.IntegrityError as e: print('数据重复,不做任何处理') except Exception as e: #数据添加错误,回滚 self.session.rollback() finally: #关闭数据库连接 self.session.close() #保存到csv def save_to_csv(self): self._parse() f = open('comment.csv', 'w', encoding='utf-8') csv_in = csv.writer(f, dialect='excel') for i in range(len(self.id)): csv_in.writerow([ int(self.id[i]), self.username[i], self.user_center[i], int(self.vote[i]), self.time[i], self.content[i] ]) f.close() if __name__ == '__main__': with ThreadPoolExecutor(max_workers=4) as executor: futures = [] for i in ['', 'h', 'm', 'l']: for j in range(25): fetcher = CommentFetcher(movie_id=26266893, start=j * 20, type=i) futures.append(executor.submit(fetcher.save_to_csv)) for f in as_completed(futures): try: res = f.done() if res: ret_data = f.result() if ret_data == 'finish': print('{} 成功保存数据'.format(str(f))) except Exception as e: f.cancel()
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~