别@我了,我就一个写代码的,我哪知道哪家是不正规的,Python爬取美团店铺数

网友投稿 258 2022-06-19


前言

今天教的是爬取每天按摩店的数据,不爬不知道呀,光是一个城市的前10页数据,都有1000多家店了,全部爬完,那不得至少3000家以上?现在的市场需求都那么大看吗

今天不光教代码,还要带你们去逛逛。。就只是逛逛,我也没去过,就是好奇,才看看的

御见。。夜色。。保健,一看名字就知道是家服务到位的按摩店了

代码主要内容

动态数据抓包

json数据解析

requests模块的使用

保存csv

环境介绍

python 3.8 解释器

pycharm 编辑器

开始代码,先导包

import requests # 数据请求模块 第三方模块 pip install requests

import pprint # 格式化输出模块

import csv # 保存csv模块

发送请求

加上请求头 作用: 伪装

User-Agent:表示浏览器基本信息

Cookie: 用户信息, 常用于检测是否有登陆账号

Referer: 防盗链, 告诉服务器我们发送请求url请求是从哪里跳转过来的

如果:返回的response对象 403 状态码,表示你没有访问权限

200 表示请求成功

解析数据, 提取我们想要的一些数据内容 (店铺信息)

翻页爬取

这个是第二页和第三页的数据内容,每次翻页offset + 32

最后是保存数据

运行代码,得到数据

可视化图表

导入数据

不同评分类型店铺数量

不同店铺类型店铺数量


版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:Python基础教程:json中load和loads区别(python json load)
下一篇:Python小白的数学建模课-B6. 新冠疫情 SEIR 改进模型(数学建模python代码)
相关文章

 发表评论

暂时没有评论,来抢沙发吧~