Python爬虫实战:利用代理IP批量下载哔哩哔哩美女视频

文章 目录

  • 1.前言
  • 2.爬取目标
  • 3.准备工作
    • 3.1 环境安装
    • 3.2 代理免费获取
  • 四、爬虫实战分析
    • 4.1 翻页分析
    • 4.2 获取视频跳转链接
    • 4.3 下载视频
    • 4.4 视频音频合并
    • 4.5 完整源码
  • 五、总结

1.前言

粉丝们(lsp)期待已久的Python批量下载哔哩哔哩美女视频教程它终于来了,接下来跟着我的步骤一步步实现即可!

2.爬取目标

本次博主爬取的目标是哔哩哔哩在搜索框输入关键词后的所有视频:

3.准备工作

3.1 环境安装

Python:3.10

编辑器:PyCharm

由于哔哩哔哩的视频和音频是分开的,所以本次我们需要用到moviepy模块进行合并(moviepy 是一个强大的 Python 模块,用于视频编辑,如视频剪辑、视频合成、视频字幕添加、音频处理等),执行下面pip命令进行安装:

pip install requests # 网页数据爬取
pip install moviepy # 用于合并音频和视频

3.2 代理免费获取

由于哔哩哔哩限制很严,为了能正常获取数据,博主使用了代理IP。

1、注册账号:代理IP试用

2、选择查看代理IP产品:

3、有动态IP、静态IP、机房IP、移动代理IP可以选择,博主这里选择是机房IP:

4、配置通道,可以设置IP类型(共享/独享)、IP数、IP来源国家等等:

5、配置完成后可以看到主机、用户名和密码,等下我们添加到代码中去获取IP:

6、下面代码只需要修改刚才获取到的主机、用户名和密码,即可返回代理IP:

import requests  # python基础爬虫库


def get_ip():
    """获取亮数据代理IP"""
    host = '你的主机' # 主机
    user_name = '你的用户名' # 用户名
    password = '你的密码' # 密码

    proxy_url = f'http://{user_name}:{password}@{host}' # 将上面三个参数拼接为专属代理IP获取网址
    proxies = {
        'http':proxy_url,
        'https':proxy_url
    }

    url = "http://lumtest.com/myip.json" # 默认获取的接口(不用修改)
    response = requests.get(url,proxies=proxies,timeout=10).text # 发送请求获取IP
    # print('代理IP详情信息:',response)
    response_dict = eval(response)  # 将字符串转为字典,方便我们提取代理IP
    ip =  response_dict['ip']
    # print('IP:',ip)
    return ip


get_ip()

成功返回IP获取成功:

四、爬虫实战分析

4.1 翻页分析

我们搜索关键词后翻页看看链接的规律如下:

第一页链接:

https://search.bilibili.com/all?keyword=%E7%BE%8E%E5%A5%B3%E8%B7%B3%E8%88%9E&from_source=webtop_search&search_source=5

第二页链接:

https://search.bilibili.com/all?vt=67815047&keyword=%E7%BE%8E%E5%A5%B3%E8%B7%B3%E8%88%9E&from_source=webtop_search&search_source=5&page=1&o=30

第三页链接:

https://search.bilibili.com/all?keyword=%E7%BE%8E%E5%A5%B3%E8%B7%B3%E8%88%9E&from_source=webtop_search&search_source=5&page=3&o=60

第四页链接:

https://search.bilibili.com/all?keyword=%E7%BE%8E%E5%A5%B3%E8%B7%B3%E8%88%9E&from_source=webtop_search&search_source=5&page=4&o=90

由上面可以看出规律,我们只需要传入keyword、page和o参数即可:

def main():
    keyword = '美女跳舞'  # 搜索的关键词
    page = 1  # 爬取的页数(每页30个视频)
    jump_url_list = [] # 用于存放搜索页每页的全部视频跳转链接
    for i in range(1,page+1):
        if i ==1:
            url = f'https://search.bilibili.com/all?keyword={keyword}&from_source=webtop_search&search_source=5'
        else:
            url = f'https://search.bilibili.com/all?keyword={keyword}&from_source=webtop_search&search_source=5&page={i-1}&o={(i-1)*30}'
        print(url)

4.2 获取视频跳转链接

1、可以看到所有视频都在一个div下面:

2、然后找到我们要的跳转链接,可以看到在一个a标签下:

3、接下来只需要获取每一个视频跳转链接即可:

def get_jump_url(url,jump_url_list):
    """获取视频跳转链接"""
    headers = {
        'Accept': '*/*',
        'Accept-Language': 'en-US,en;q=0.5',
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
    }
    # 发送请求
    response = requests.get(url, headers=headers)
    # 获取网页源码
    html_str = response.content.decode()
    # print(html_str)
    html_data = etree.HTML(html_str)
    # 利用xpath取到所有的li标签
    div_list = html_data.xpath("//div[@class='video-list row']/div")
    # 打印一下div标签个数
    # print(len(div_list))
    for div in div_list:
        # 拼接跳转链接
        jump_url = 'https:'+div.xpath(".//div[@class='bili-video-card__wrap __scale-wrap']/a/@href")[0]
        # print(jump_url)
        # 这里限制一下我们需要的跳转链接,排除无用的链接
        if 'https://www.bilibili.com/video' in jump_url:
            # 跳转链接存放在列表中
            jump_url_list.append(jump_url)

5、获取成功检查一下跳转链接是否正常跳转:

没有问题正常打开:

4.3 下载视频

1、首先先找到标题所在标签:

2、视频和音频都藏在script标签里面:

3、遍历我们刚才的跳转链接列表取一个链接进行测试:

def download_video(jump_url_list,keyword):
    # 遍历我们刚才获取到的所有跳转链接
    for jump_url in jump_url_list: # 先取一个视频进行测试
        print('正在下载:',jump_url)
        # 发送请求
        headers = {
            'Accept': '*/*',
            'Accept-Language': 'en-US,en;q=0.5',
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
        }
        # 添加代理IP(这里代理IP这里需要看`3.2 获取代理IP`自己去获取)
        proxies = get_ip()
        response = requests.get(jump_url, headers=headers, proxies=proxies)
        # 视频详情json
        match = re.search( '__playinfo__=(.*?)</script><script>',response.text)
        playinfo =  json.loads(match.group(1))

        # 视频内容json
        match = re.search( r'__INITIAL_STATE__=(.*?);\(function\(\)',response.text)
        initial_state = json.loads(match.group(1))

        # 视频分多种格式,直接取分辨率最高的视频 1080p
        video_url = playinfo['data']['dash']['video'][0]['baseUrl']
        # 取出音频地址
        audio_url = playinfo['data']['dash']['audio'][0]['baseUrl']
        title = initial_state['videoData']['title']
        print('视频名字:',title)
        # print('视频地址:', video_url)
        # print('音频地址:', audio_url)

        # 根据关键词创建文件夹
        if not os.path.exists(keyword):
            os.mkdir(keyword)

        # 下载视频
        headers.update({"Referer": jump_url})
        video_content = requests.get(video_url, headers=headers)
        received_video = 0
        video_path = f'./{keyword}/{title}_video.mp4'
        with open(video_path, 'ab') as output:
            while int(video_content.headers['content-length']) > received_video:
                headers['Range'] = 'bytes=' + str(received_video) + '-'
                response = requests.get(video_url, headers=headers)
                output.write(response.content)
                received_video += len(response.content)

        # 下载音频
        audio_content = requests.get(audio_url, headers=headers)
        received_audio = 0
        audio_path = f'./{keyword}/{title}_audio.mp4'
        with open(audio_path, 'ab') as output:
            while int(audio_content.headers['content-length']) > received_audio:
                # 视频分片下载
                headers['Range'] = 'bytes=' + str(received_audio) + '-'
                response = requests.get(audio_url, headers=headers)
                output.write(response.content)
                received_audio += len(response.content)

生成指定关键词文件夹,并下载成功视频和音频:

4.4 视频音频合并

这里我们定义一个合并函数,需要传入视频和音频路径即可(注意:合并可能有点慢请耐心等待即可):

def merge_video_audio(video_path, audio_path):
    """传入原始视频和音频路径,合并为新的视频,并删除原始视频和音频"""
    print('视频视频合并中请耐心等待~')
    # 获取下载好的音频和视频文件
    vd = VideoFileClip(video_path)
    ad = AudioFileClip(audio_path)
    vd2 = vd.set_audio(ad)  # 将提取到的音频和视频文件进行合成
    output = video_path.replace('_video','')
    vd2.write_videofile(output)  # 输出新的视频文件

    # 移除原始的视频和音频
    os.remove(video_path)
    os.remove(audio_path)

合并中:

合并成功并删除原始的视频和音频:

4.5 完整源码

下面完整代码需要看3.2获取 并 修改get_ip()函数中的 代理IP信息(主机、用户名和密码),还可以修改关键词和爬取的页数:

import time
import requests
import json
import re
from lxml import etree
from moviepy.editor import *


def get_ip():
    """获取亮数据代理IP"""
    host = '你的主机'  # 主机
    user_name = '你的用户名'  # 用户名
    password = '你的密码'  # 密码

    proxy_url = f'http://{user_name}:{password}@{host}'  # 将上面三个参数拼接为专属代理IP获取网址
    proxies = {
        'http': proxy_url,
        'https': proxy_url
    }

    url = "http://lumtest.com/myip.json"  # 默认获取的接口(不用修改)
    response = requests.get(url, proxies=proxies, timeout=10).text  # 发送请求获取IP
    # print('代理IP详情信息:',response)
    response_dict = eval(response)  # 将字符串转为字典,方便我们提取代理IP
    ip = response_dict['ip']
    # print('IP:',ip)
    return ip


def get_jump_url(url,jump_url_list):
    """获取视频跳转链接"""
    headers = {
        'Accept': '*/*',
        'Accept-Language': 'en-US,en;q=0.5',
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
    }
    # 发送请求
    response = requests.get(url, headers=headers)
    # 获取网页源码
    html_str = response.content.decode()
    # print(html_str)
    html_data = etree.HTML(html_str)
    # 利用xpath取到所有的li标签
    div_list = html_data.xpath("//div[@class='video-list row']/div")
    # 打印一下div标签个数
    # print(len(div_list))
    for div in div_list:
        # 拼接跳转链接
        jump_url = 'https:'+div.xpath(".//div[@class='bili-video-card__wrap __scale-wrap']/a/@href")[0]
        # print(jump_url)
        # 这里限制一下我们需要的跳转链接,排除无用的链接
        if 'https://www.bilibili.com/video' in jump_url:
            # 跳转链接存放在列表中
            jump_url_list.append(jump_url)


def merge_video_audio(video_path, audio_path):
    """传入原始视频和音频路径,合并为新的视频,并删除原始视频和音频"""
    print('原始视频音频合并中,请耐心等待~')
    # 获取下载好的音频和视频文件
    vd = VideoFileClip(video_path)
    ad = AudioFileClip(audio_path)
    vd2 = vd.set_audio(ad)  # 将提取到的音频和视频文件进行合成
    output = video_path.replace('_video','')
    vd2.write_videofile(output)  # 输出新的视频文件

    # 移除原始的视频和音频
    os.remove(video_path)
    os.remove(audio_path)


def download_video(jump_url_list,keyword):
    # 遍历我们刚才获取到的所有跳转链接
    for jump_url in jump_url_list: # 先取一个视频进行测试
        print('正在下载:',jump_url)
        # 发送请求
        headers = {
            'Accept': '*/*',
            'Accept-Language': 'en-US,en;q=0.5',
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
        }
        # 添加代理IP(这里代理IP这里需要看`3.2 获取代理IP`自己去获取)
        proxies = get_ip()
        response = requests.get(jump_url, headers=headers, proxies=proxies)
        # 视频详情json
        match = re.search( '__playinfo__=(.*?)</script><script>',response.text)
        playinfo =  json.loads(match.group(1))

        # 视频内容json
        match = re.search( r'__INITIAL_STATE__=(.*?);\(function\(\)',response.text)
        initial_state = json.loads(match.group(1))

        # 视频分多种格式,直接取分辨率最高的视频 1080p
        video_url = playinfo['data']['dash']['video'][0]['baseUrl']
        # 取出音频地址
        audio_url = playinfo['data']['dash']['audio'][0]['baseUrl']
        title = initial_state['videoData']['title']
        print('视频名字:',title)
        # print('视频地址:', video_url)
        # print('音频地址:', audio_url)

        # 根据关键词创建文件夹
        if not os.path.exists(keyword):
            os.mkdir(keyword)

        # 下载视频
        headers.update({"Referer": jump_url})
        video_content = requests.get(video_url, headers=headers)
        received_video = 0
        video_path = f'./{keyword}/{title}_video.mp4'
        with open(video_path, 'ab') as output:
            while int(video_content.headers['content-length']) > received_video:
                headers['Range'] = 'bytes=' + str(received_video) + '-'
                response = requests.get(video_url, headers=headers)
                output.write(response.content)
                received_video += len(response.content)

        # 下载音频
        audio_content = requests.get(audio_url, headers=headers)
        received_audio = 0
        audio_path = f'./{keyword}/{title}_audio.mp4'
        with open(audio_path, 'ab') as output:
            while int(audio_content.headers['content-length']) > received_audio:
                # 视频分片下载
                headers['Range'] = 'bytes=' + str(received_audio) + '-'
                response = requests.get(audio_url, headers=headers)
                output.write(response.content)
                received_audio += len(response.content)

        # 合并视频和音频
        merge_video_audio(video_path, audio_path)
        print('********************这是一条隔离线***************************')

        time.sleep(1)  # 限制速度不能太快了,如果还是不行继续增加暂停时间


def main():
    keyword = '美女跳舞'  # 搜索的关键词
    page = 1  # 爬取的页数(每页30个视频)
    jump_url_list = [] # 用于存放搜索页每页的全部视频跳转链接
    for i in range(1,page+1):
        if i ==1:
            url = f'https://search.bilibili.com/all?keyword={keyword}&from_source=webtop_search&search_source=5'
        else:
            url = f'https://search.bilibili.com/all?keyword={keyword}&from_source=webtop_search&search_source=5&page={i-1}&o={(i-1)*30}'
        # print(url)
        get_jump_url(url,jump_url_list)
        # 翻页休息一秒
        time.sleep(1)
    download_video(jump_url_list,keyword)


if __name__ == '__main__':
    main()

下载中:

文件夹下全是视频:

五、总结

代理IP对于爬虫是密不可分的,但使用代理IP需要遵守相关法律法规和目标网站的使用规则,不得进行非法活动或滥用代理IP服务,高质量代理IP可以帮助爬虫正常采集公开数据信息,有需要代理IP的小伙伴可以试试:代理IP免费试用

如有问题,可以关注公众号 “Bright Data亮数据”,发送问题后会有官方客服进行回复:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/745512.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

火绒被骂惨,良心居然也翻车?剩下3款软件还被误认为外国人开发

万万没想到&#xff0c;公认的国产良心软件“火绒”&#xff0c;居然也翻车&#xff0c;很多网友对其大失所望&#xff0c;甚至忍不住吐槽让他不要砸了自己的招牌。 事情的起因是这样的&#xff0c;火绒推出应用商店&#xff0c;并于正式公测&#xff0c;这是要逐渐走向全家桶的…

1688官方API跨境寻源通API:做外贸反向代购业务必备

item_get 获得1688商品详情item_search 按关键字搜索商品item_search_img 按图搜索1688商品&#xff08;拍立淘&#xff09;item_search_suggest 获得搜索词推荐item_fee 获得商品快递费用seller_info 获得店铺详情item_search_shop 获得店铺的所有商品item_password 获得淘口令…

WMS在发展过程中会遇到哪些挑战?

在仓库管理系统&#xff08;Warehouse Management System, WMS&#xff09;的发展过程中&#xff0c;会遇到以下一些挑战&#xff1a; 1、技术整合&#xff1a; 将WMS与现有的ERP&#xff08;企业资源计划&#xff09;、TMS&#xff08;运输管理系统&#xff09;等系统进行有效…

【日记】希望文竹长得越来越好吧(856 字)

正文 为什么昨天给老师提早说了今天上课…… 今天都要忙死了。不论上午下午都手忙脚乱。上午之前的存量客户来开新账户&#xff0c;流程卡在客户经理尽调那里。恰好那个客户经理还是部门主管&#xff0c;我们没一个人敢催。向副行长汇报情况&#xff0c;又跟客户说。客户跟他们…

通过混合栅极技术改善p-GaN功率HEMTs的ESD性能

来源&#xff1a;Improved Gate ESD Behaviors of p-GaN PowerHEMTs by Hybrid Gate Technology&#xff08;ISPSD 24年&#xff09; 摘要 本工作中&#xff0c;首次证明了混合栅极技术在不增加额外面积和寄生效应的前提下&#xff0c;能有效提升p-GaN HEMTs的栅极静电放电(E…

【C语言】函数strerror和perror详解

<>博客简介&#xff1a;Linux、rtos系统&#xff0c;arm、stm32等芯片&#xff0c;嵌入式高级工程师、面试官、架构师&#xff0c;日常技术干货、个人总结、职场经验分享   <>公众号&#xff1a;嵌入式技术部落   <>系列专栏&#xff1a;C/C、Linux、rtos、…

SpringCloud Alibaba Seata2.0分布式事务AT模式实践总结

这里我们划分订单、库存与支付三个module来实践Seata的分布式事务。 依赖版本(jdk17)&#xff1a; <spring.boot.version>3.1.7</spring.boot.version> <spring.cloud.version>2022.0.4</spring.cloud.version> <spring.cloud.alibaba.version>…

二种方法轻松提取音频中的钢琴声音

在音乐制作、音频编辑或是纯粹的音乐爱好者的世界里&#xff0c;有时我们需要从复杂的音乐编排中抽取出特定乐器的声音&#xff0c;比如那悠扬的钢琴旋律。这不仅能帮助我们更好地理解音乐的结构&#xff0c;还能在创作过程中提供灵感。本文将介绍两种简单有效的方法&#xff0…

Snipaste截图工具如何控制框线箭头的粗细程度

我们使用Snipaste截图工具的时候&#xff0c;最常用的就是框线和箭头这些功能&#xff0c;有时候感觉很粗有时候感觉太细了&#xff0c;如何解决呢&#xff1f;我们可以在使用框线或者箭头之后&#xff0c;长按1或者2来控制框线箭头的粗细程度。其中1是变细&#xff0c;2是变粗…

.NET C# 树遍历、查询、拷贝与可视化

.NET C# 树遍历、查询、拷贝与可视化 目录 .NET C# 树遍历、查询、拷贝与可视化1 组件安装1.1 NuGet包管理器安装&#xff1a;1.2 控制台安装&#xff1a; 2 接口1.1 ITree\<TTreeNode\>1.2 ITree\<TKey, TTreeNode\>1.3 IObservableTree\<TTreeNode\>1.4 IO…

推荐一本RMS包作者写的我正在追读的书《Regression Modeling Strategies》

熟悉我的粉丝都清楚&#xff0c;我很少推荐书&#xff0c;这次推荐这本书是我目前正在读的&#xff0c;这是本老书了&#xff0c;关于回归模型的&#xff0c;我觉得写的很好。 写这本书的就是RMS包的作者&#xff0c;这是他早些年写的书&#xff0c;我们可以结合他写的书来加深…

2006年上半年软件设计师【上午题】试题及答案

文章目录 2006年上半年软件设计师上午题--试题2006年上半年软件设计师上午题--答案 2006年上半年软件设计师上午题–试题 2006年上半年软件设计师上午题–答案

java启动命令与参数配置

1. java启动命令 运行一个java应用程序的语法分两种&#xff0c;分别为&#xff1a; 执行类&#xff1a;java [-options] class [args…] 执行jar文件&#xff1a;java [-options] -jar jarfile [args…] 其中 [-options] 配置 JVM参数&#xff0c;[args…] 配置 Java 运行参…

牛客链表刷题(四)

目录 一、链表的奇偶重排 代码&#xff1a; 二、删除有序链表中重复的元素-I 代码&#xff1a; 三、删除有序链表中重复的元素-II 代码&#xff1a; 一、链表的奇偶重排 代码&#xff1a; import java.util.*;/** public class ListNode {* int val;* ListNode next nu…

VisualStudio2019受支持的.NET Core

1.VS Studio2019受支持的.NET Core&#xff1f; 适用于 Visual Studio 的 .NET SDK 下载 (microsoft.com) Visual Studio 2019 默认并不直接支持 .NET 6 及以上版本。要使用 .NET 6 或更高版本&#xff0c;你需要在 Visual Studio 2019 中采取额外步骤&#xff0c;比如安装相应…

钢琴灯护眼灯怎么选比较好?五款爆款护眼大路灯推荐

钢琴灯护眼灯怎么选比较好&#xff1f;想要避免孩子在学习时眼睛视力不受影响&#xff0c;除了纠正写作姿势、带出去晒太阳、多看绿色植物舒缓眼睛疲劳之外&#xff0c;剩下的就是光环境问题&#xff0c;毕竟现在的小朋友学业越来越重&#xff0c;大部分时间不是在学校学习就是…

6.20模板

c/c/jave 静态语言强类型语言编译型语言&#xff0c;想要在运行以前就能够找出错误。 python是一个弱类型语言&#xff0c;在运行的时候再确定变量的类型。 背景需求&#xff1a;想要在强类型严格的要求下希望能够更加灵活。 有三种方式可以实现&#xff1a;宏定义&#xff…

各场景ChatGPT指令Promp提示词大全

一、Promp指令使用指南 直接复制Promp指令提示词使用 可以前往已经添加好Prompt预设的AI系统测试使用&#xff08;可自定义添加使用&#xff09; 支持GPTs应用Prompt自定义预设应用 SparkAi SparkAi创作系统是一款基于ChatGPT和Midjourney开发的智能问答和绘画系统&#xff…

Vue2中为啥不用 Object.defineProperty 实现响应式数组 ? 不能监听到数组变化吗?

Vue2.0 对于数据响应式的实现上是有一些局限性的&#xff0c;比如&#xff1a; 无法检测数组和对象的新增&#xff1b; 无法检测通过索引改变数组的操作&#xff1b; 针对以上问题&#xff0c;我们一般都会把锅甩给 Object.defineProperty。所以&#xff0c;在Vue 3.0 中&am…

uniapp 小程序 堆叠轮播图 左滑 右滑 自动翻页 点击停止自动翻页

uniapp 小程序 堆叠轮播图 左滑 右滑 自动翻页 点击停止自动翻页 超过指定时间未点击滑动 则继续开始滚动 直接上代码 componentSwiper.vue 需要注意页面切换时清除计时器 <template><view><view class"swiperPanel" touchstart"startMove"…