趁网站还在！用python把次元岛COS小姐姐图集批量下载~

嗨喽，大家好呀~这里是爱看美女的茜茜呐

开发环境:

Python 3.10
Pycharm

模块使用:

requests >>> 数据请求模块
re >>> 匹配提取数据
os >>> 自动创建文件夹

如何安装python第三方模块:

win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
在pycharm中点击Terminal(终端) 输入安装命令

👇 👇 👇 更多精彩机密、教程，尽在下方，赶紧点击了解吧~

python源码、视频教程、插件安装教程、资料我都准备好了，直接在文末名片自取就可

爬虫基本实现流程: 从单个数据/单页数据开始分析 -> 多个/多页的数据采集

一. 数据来源分析

明确需求: 明确采集网站以及数据内容
- 网址: http://ciyuandao.com/photo/show/132425
- 数据: 图片链接 / 标题
抓包分析: 通过浏览器开发者工具分析数据对应位置
- 打开开发者工具: F12 / 右键点击检查选择network (网络)
- 刷新网页: 让网页数据内容重新加载一遍
- 点击Img, 查看图片链接数据 (单张图片链接)
  
  图片链接: http://img.ciyuandao.com//works/article/d581b9a921343dc7db308ace1432b468.jpg?x-oss-process=image/auto-orient,1/resize,m_lfit,w_1440/quality,q_100
- 是否存在数据包: 包含了所有图片链接?
  
  通过关键字去搜索对应数据包位置
  
  关键字: 图片链接中一段内容
  - http://ciyuandao.com/photo/show/132425

二. 代码实现步骤

发送请求 -> 模拟浏览器对于url地址发送请求

模拟浏览器: 请求头

请求网址: http://ciyuandao.com/photo/show/132425

请求方法: get
获取数据 -> 获取服务器返回响应数据 (整个网页的数据)

开发者: 响应 response
解析数据 -> 提取我们需要内容: 标题 / 图片链接
保存数据 -> 获取图片内容, 保存本地文件夹

代码展示

导入模块

# 导入数据请求模块 第三方模块
import requests
# 导入正则表达式模块 内置模块
import re
# 导入文件操作模块 内置模块
import os

模拟浏览器

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36'
}

多页采集

'''
python资料获取看这里噢！！ 小编 V：Pytho8987（记得好友验证备注：6 否则可能不通过）
即可获取：文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''
for page in range(2, 6):
    print(f'=========正在采集第{page}页的数据内容=========')

请求网址

    link = f'http://ciyuandao.com/photo/list/0-5-{page}'

发送请求

    link_data = requests.get(url=link, headers=headers).text

提取图集ID

    img_id_list = re.findall('<a href="/photo/show/(\d+)" class="tits grey">', link_data)

for循环遍历, 提取列表中ID

    for img_id in img_id_list:

“”"

发送请求 -> 模拟浏览器对于url地址发送请求

“”"

请求网址

        url = f'http://ciyuandao.com/photo/show/{img_id}'

发送请求

        response = requests.get(url=url, headers=headers)

“”"

获取数据 -> 获取服务器返回响应数据 (整个网页的数据)

“”"

        html_data = response.text

“”"

解析数据 -> 提取我们需要内容: 标题 / 图片链接
- 正则表达式 re
  
  re.findall(‘数据’, ‘数据源’) -> 找到所有你想要的数据
  
  从什么地方, 去找什么数据
  
  从 html_data (网页数据) 中去找这部分 (.<em>?) - 次元岛</em> 其中(.?)返回出来

“”"
标题

'''
python资料获取看这里噢！！ 小编 V：Pytho8987（记得好友验证备注：6 否则可能不通过）
即可获取：文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''
        title = re.findall('<title>(.*?) - 次元岛</title>', html_data)[0]

替换特殊字符

        new_title = re.sub(r'[\\/:*?"<>|]', '', title)

图片链接

        img_list = re.findall('<a href="javascript:;"><img src="(.*?)"></a>', html_data)

根据图集标题, 自动创建文件夹

        filename = f'img\\{title}\\'

判断文件夹是否存在

        if not os.path.exists(filename):

自动创建文件夹

            os.makedirs(filename)
        print(title)

定义变量

        num = 1

for循环遍历, 提取列表里面所有元素

        for img in img_list:

“”"

保存数据 -> 获取图片内容, 保存本地文件夹

“”"

对于图片链接发送请求, 获取图片内容

            img_content = requests.get(url=img, headers=headers).content

保存数据 -> 取名 (默认图片保存和代码放在一起)

            with open(filename + new_title + str(num) + '.jpg', mode='wb') as f:

写入数据内容

'''
python资料获取看这里噢！！ 小编 V：Pytho8987（记得好友验证备注：6 否则可能不通过）
即可获取：文章源码/教程/资料/解答等福利，还有不错的视频学习教程和PDF电子书！
'''
                f.write(img_content)
            num += 1
            print(img)