python 爬虫 爬取抖音视频 无水印（python入门教程(非常详细)）
python 爬虫 爬取抖音视频 无水印（python入门教程(非常详细)）
一、环境使用
Python 3.8 Pycharm
谷歌浏览器 谷歌驱动
二、模块使用
requests >>> pip install requests re json
selenium >>> pip install selenium==3.141.0
三、模块安装问题
win + R 输入cmd 输入安装命令 pip install 模块名 (如果你觉得安装速度比较慢, 你可以切换国内镜像源)
- 安装python第三方模块:
- 安装失败原因: - 失败一: pip 不是内部命令 解决方法: 设置环境变量
- 失败二: 出现大量报红 (read time out) 解决方法: 因为是网络链接超时, 需要切换镜像源 SSL 清华：阿里云：中国科技大学 华中理工大学：山东理工大学：豆瓣：例如：pip3 install -i 模块名
- 失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入 解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好 或者你pycharm里面python解释器没有设置好
四、如何配置pycharm里面的python解释器
五、pycharm如何安装插件
六、爬虫基本思路流程: <通用>
（1）. 数据来源分析
- 你先知道你想要数据在哪里?
---> 请求 得到服务器返回响应数据 视频url地址以及视频标题 - 抓包分析 ---> 开发者工具进行抓包分析 1. 打开开发者工具进行抓包分析 选择 media 找到视频url地址 2. 通过关键字搜索之后, 找到数据是通过编码 ---> 获取数据的时候, 可以进行解码
（2） 代码实现步骤
1. 发送请求, 模拟浏览器对于url地址发送请求 2. 获取数据, 获取服务器返回响应数据 3. 解析数据, 提取我们想要的数据内容 4. 保存数据, 我们想要视频内容保存到本地
5.先采集一个视频内容, 再做批量数据采集...
七、完整代码
# 导入数据请求模块import requests# 导入正则import re# 导入jsonimport json# 导入格式化输出模块from pprint import pprint# 导入时间模块import time"""使用 selenium 获取所有视频详情页url地址 selenium ---> 通过浏览器驱动 ----> 模拟操作浏览器 - 谷歌浏览器 - 谷歌驱动 ---> 版本根据浏览器版本来的, 大版本一样 小版本最相近的... 下载好之后, 可以解压, 1. 和你代码一个地方 2. python安装目录里面 3. 写代码的时候指定路径 selenium 版本 3.141.0模拟人的行为去操作浏览器"""from selenium import webdriver# 打开一个浏览器driver = webdriver.Chrome()# 访问网址driver.get('drop_down(): for x in range(1, 30, 2): time.sleep(1) j = x / 9 js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j driver.execute_script(js)drop_down()# 通过css选择去定位元素 ---> 找标签lis = driver.find_elements_by_css_selector('.ECMy_Zdt')# for循环for li in lis: try: url = li.find_element_by_css_selector('a').get_attribute('href') """ 1. 发送请求, 模拟浏览器对于url地址发送请求 需要注意什么细节: