Python 带你采集抖音无水印视频内容，把你喜欢的视频保存

前言

嗨喽！大家好呀，这里是python茜吖~

一个帮助用户表达自我,记录的视频平台。●记录美好、智能匹配音乐、一键卡点视频,超多原创、滤镜、场景切换帮你...

今天我们就来用Python 采集无水印视频内容

环境介绍：

python 3.8 解释器pycharm 2021专业版 >>> 激活码 编辑器谷歌浏览器谷歌驱动selenium >>> 驱动 >>> 浏览器

模块使用]：

采集一个视频

requests >>> pip install requestsre

采集多个视频

selenium >>> pip install selenium==3.141.0 (3.141.0) 指定模块版本去安装

使用这个模块安装浏览器驱动time

模块安装问题:

如果安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车 2. 在pycharm中点击Terminal(终端) 输入安装命令

安装失败原因

失败一: pip 不是内部命令

解决方法: 设置环境变量

失败二: 出现大量报红 (read time out)

解决方法: 因为是网络链接超时, 需要切换镜像源

清华：https://pypi.tuna.tsinghua.edu.cn/simple

阿里云：https://mirrors.aliyun.com/pypi/simple/

中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/

华中理工大学：https://pypi.hustunique.com/

山东理工大学：https://pypi.sdutlinux.org/

豆瓣：https://pypi.douban.com/simple/

例如：pip3 install -i https://pypi.doubanio.com/simple/ 模块名

失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入

解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可) 卸载一个就好

或者你pycharm里面python解释器没有设置好

如何配置pycharm里面的python解释器?

选择file(文件) >>> setting(设置) >>> Project(项目) >>> python interpreter(python解释器)点击齿轮, 选择add添加python安装路径

pycharm如何安装插件?

选择file(文件) >>> setting(设置) >>> Plugins(插件)点击 Marketplace 输入想要安装的插件名字 比如:翻译插件 输入 translation / 汉化插件 输入 Chinese选择相应的插件点击 install(安装) 即可安装成功之后 是会弹出 重启pycharm的选项 点击确定, 重启即可生效

爬虫实现思路流程: (****)

一. 数据来源分析确定爬取的内容是什么?

爬取抖音视频内容通过开发者工具进行抓包分析 F12 或者 鼠标右键点击插件选择network

I. 通过分析已经找到播放地址

II. 去分析, 播放地址可以从什么获取

对于视频播放url地址 进行一次转码 *** >>> 等会提取的时候 需要进行解码

二. 代码实现步骤

过程发送请求, 用python代码模拟浏览器去发送请求

获取数据, 获取服务器返回响应数据

解析数据, 提取视频url地址 以及 视频标题

保存数据, 保存数据到本地

开始我们的代码

导入模块

# 导入数据请求模块import requests # pip install requests win + R 输入cmd# 导入正则import re # 内置模块 不需要大家去安装import time # 时间模块from selenium import webdriver # pip install selenium==3.141.0

代码

def drop_down(): """执行页面滚动的操作""" # javascript for x in range(1, 30, 4): # 1 3 5 7 9 在你不断的下拉过程中, 页面高度也会变的 time.sleep(1) j = x / 9 # 1/9 3/9 5/9 9/9 # document.documentElement.scrollTop 指定滚动条的位置 # document.documentElement.scrollHeight 获取浏览器页面的最大高度 js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j driver.execute_script(js)# 人怎么去操作浏览器的, 就怎么写代码...# 1. 打开一个浏览器或者下载一个浏览器吧 创建浏览器对象(实例化一个浏览器对象)driver = webdriver.Chrome()# 2. 输入一个网址 请求网址driver.get('https://www.douyin.com/user/MS4wLjABAAAA4N4OrZzTSmCPp8vVAqCeyU215Kav2JgFv2Lfy4DNWRs')driver.implicitly_wait(10)# 3. 提取所有li标签 返回列表# drop_down()lis = driver.find_elements_by_css_selector('.ECMy_Zdt')for li in lis: html_url = li.find_element_by_css_selector('a').get_attribute('href') print(html_url) # 1. 发送请求, 用python代码模拟浏览器去发送请求 # url = 'https://www.douyin.com/video/7066324040335592738' # headers 作用 伪装python代码 伪装成浏览器 user-agent: 用户代理 浏览器基本身份标识 cookie 用于检测用户信息, 是否有登陆账号 headers = { 'cookie': 'douyin.com; ttcid=444dfe8e89ff4d99b0662076ad171c8775; ttwid=1%7CTnFKlrGi3lHjKf5bshFdP9Nwu_Vsiwo-TxvX9NISgj8%7C1642083887%7Cfbfa904ea2900763eb6ac090bdd09014d80840da1ca485bbfea193d5401b330e; MONITOR_WEB_ID=6d75c626-96a0-4270-ac18-aa0090b5bdb8; MONITOR_DEVICE_ID=341246a2-17c2-4c11-9c70-3ffd2cda0ffa; MONITOR_WEB_ID=c27b9f4a-4917-4256-be93-e948308467e3; odin_tt=0510c3c4196f54b541a96ac64e8b585b3a755be85057da8a1f3fa068e3f7b75ca2de4345e2b856f1e7b3f9455d86079731fe7d07a9f10890f26855d3674858e1; _tea_utm_cache_6383=undefined; douyin.com; strategyABtestKey=1648291293.035; passport_csrf_token=e0b90cb756903c370592bd558c2b0cf5; passport_csrf_token_default=e0b90cb756903c370592bd558c2b0cf5; AB_LOGIN_GUIDE_TIMESTAMP=1648291292963; s_v_web_id=verify_l17q2u00_kNENOykG_BIPh_4VLs_AVDZ_yMj0GtFSNH1u; _tea_utm_cache_1300=undefined; _tea_utm_cache_2285=undefined; THEME_STAY_TIME=299042; IS_HIDE_THEME_CHANGE=1; msToken=5X5W_7rY6cmo_SaaiMyCREV1hCZs-Jd9b7whX5gNCZsd9FU0zCTWYYAl0VhqGGUCjKS3bQf0f191VXdWHPNgqUz08MHEhk6qWhu4wVOlxhLyh3Vliaw37NU=; __ac_nonce=0623f02e00009007ea9bb; __ac_signature=_02B4Z6wo00f010eZ3RAAAIDCJJMde2RciUNHvdmAALPkmrPh1wY1Ey-OtTubjdK69ub9bqUt9DNRx8aP7dPtbOjyxcxyyK6yToF.7c4e615hiM5fYGwFCq0x8jHiY7BYLt6JZLIH8y38eMikd9; home_can_add_dy_2_desktop=1; msToken=fSBhJysNLifNHon5sgM-8n_3ZzJD49mCn9GUHLQydo7g52tCvrhNEKMFhxKEKlAxdE-z7er6yxwoJyO7-C_RdyslJnPejx9AAnkluZ22tSxM4siS7FUuO8E=; tt_scid=T-Exmos8oZiW6Wkb0uEjKsqAdjzxSnn4nznfku9EUmnDmpgq6Me7VDpIiYW4Fv805451; pwa_guide_count=3', 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.82 Safari/537.36' } response = requests.get(url=html_url, headers=headers) # <Response [200]> 表示的是响应对象 200状态码 请求成功 # 2. 获取数据 # print(response.text) # 获取html字符串数据 服务器返回response响应文本数据 # 3. 解析数据 # findall 找到所有, 从什么哪里去找什么数据 正则匹配出来数据返回都是列表数据 [] 列表 [0] 取第一个元素 title = re.findall('<title data-react-helmet="true">(.*?) - 抖音</title>', response.text)[0] video_url = re.findall('src(.*?)vr%3D%2', response.text)[0] # print(video_url) video_url = requests.utils.unquote(video_url).replace('":"', 'https:') # 解码 并且使用replace字符串替换 # print(title) # print(video_url) # 4. 保存数据 视频数据内容 video_content = requests.get(url=video_url, headers=headers).content # 对于视频播放地址发送请求,获取二进制数据内容 with open('video\\' + title + '.mp4', mode='wb') as f: f.write(video_content) print(title, '保存完成')