Python 短视频爬虫教程

好难受，上次发了做游戏的居然没人看，每天为了给你们写啥，老夫心都操碎了~

真的是，今天来给大家爬一波短视频网站吧，都是些很养眼的~

网站地址在代码里面，大家用心一下就能看到了。

使用的软件

python 3.8pycharm 2021.2

模块

requestsparselreconcurrent.futurestimewarnings

不会安装模块看这篇：python模块的安装以及安装失败的解决方法

知道你们不想看那些步骤，我直接上代码吧

import requestsimport parselimport reimport concurrent.futuresimport timeimport warnings# 取消警告warnings.filterwarnings(\"ignore\")def get_html(url):\"\"\"发送请求获取网页源代码\"\"\"html_data = requests.get(url=url, verify=False).textreturn html_datadef parse_data_1(html_data):\"\"\"第一次解析, 拿到所有的详情页链接\"\"\"selector = parsel.Selector(html_data)url_list = selector.xpath(\'//a[@class=\"meta-title\"]/@href\').getall()return url_listdef parse_data_2(html_data):\"\"\"第二次解析, 获取视频链接\"\"\"video_url = re.findall(\'url: \"(.*?)\",\', html_data)[0]return video_urldef save(video_url):\"\"\"保存视频\"\"\"title = video_url.split(\'/\')[-1]    # 取链接当中的字段作为标题video_data = requests.get(video_url, verify=False).content    # 发送网络请求with open(f\'video/{title}\', mode=\'wb\') as f:f.write(video_data)print(title, \"爬取成功!!!\")start_time = time.time()url = \'https://www.520mmtv.com/hd/rewu.html\'# 1. 向目标网站发送请求html_data = get_html(url=url)# 2. 第一次解析数据 提取详情页链接url_list = parse_data_1(html_data=html_data)for info_url in url_list[:10]:# 3. 向详情页发送请求html_data_2 = get_html(url=info_url)# 4. 第二次解析数据 提取视频播放地址video_url = parse_data_2(html_data=html_data_2)# 5. 保存视频save(video_url=video_url)print(\'花费时间：\', time.time() - start_time)

到此这篇关于Python 短视频爬虫教程的文章就介绍到这了,更多相关Python 爬虫教程内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

• Python 给我一个链接西瓜视频随便下载爬虫
• Python爬虫实战之批量下载快手平台视频数据
• Python爬虫实战之虎牙视频爬取附源码
• Python爬虫小练习之爬取并分析腾讯视频m3u8格式
• Python爬虫之m3u8文件里提取小视频的正确姿势
• Python爬虫之爬取哔哩哔哩热门视频排行榜
• Python爬虫爬取ts碎片视频+验证码登录功能
• python爬虫爬取某网站视频的示例代码
• python爬虫线程池案例详解(梨视频短视频爬取)
• Python超简洁且详细爬取西瓜视频案例