Flask接口签名sign原理与实例代码浅析
258
2022-06-19
前言
今天教的是爬取每天按摩店的数据,不爬不知道呀,光是一个城市的前10页数据,都有1000多家店了,全部爬完,那不得至少3000家以上?现在的市场需求都那么大看吗
今天不光教代码,还要带你们去逛逛。。就只是逛逛,我也没去过,就是好奇,才看看的
御见。。夜色。。保健,一看名字就知道是家服务到位的按摩店了
代码主要内容
动态数据抓包
json数据解析
requests模块的使用
保存csv
环境介绍
python 3.8 解释器
pycharm 编辑器
开始代码,先导包
import requests # 数据请求模块 第三方模块 pip install requests
import pprint # 格式化输出模块
import csv # 保存csv模块
发送请求
加上请求头 作用: 伪装
User-Agent:表示浏览器基本信息
Cookie: 用户信息, 常用于检测是否有登陆账号
Referer: 防盗链, 告诉服务器我们发送请求url请求是从哪里跳转过来的
如果
200 表示请求成功
解析数据, 提取我们想要的一些数据内容 (店铺信息)
翻页爬取
这个是第二页和第三页的数据内容,每次翻页offset + 32
最后是保存数据
运行代码,得到数据
可视化图表
导入数据
不同评分类型店铺数量
不同店铺类型店铺数量
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~