万物皆可爬——亮数据代理IP+Python爬虫批量下载百度图片助力AI训练

  • 💂 个人网站:【 摸鱼游戏】【神级代码资源网站】【导航大全】
  • 🤟 一站式轻松构建小程序、Web网站、移动应用：👉注册地址
  • 🤟 基于Web端打造的：👉轻量化工具创作平台
  • 💅 想寻找共同学习交流，摸鱼划水的小伙伴，请点击【全栈技术交流群】

项目背景

本文档详细介绍了一个网络爬虫项目的准备和实现过程。该项目的目标是从百度图片搜索中获取图片链接并下载图片。此类爬虫项目通常用于收集大量的图片数据，以便用于训练各种人工智能模型，特别是计算机视觉模型。计算机视觉领域的研究需要大量的图像数据来训练和测试模型，以便实现图像分类、对象检测、图像生成等功能。

一、项目准备

环境配置

在开始编写爬虫之前，确保已经完成以下环境配置：

Python安装: 确保已安装Python 3.x版本。Python是一种功能强大且易于学习的编程语言，适合于各种编程任务，包括网络爬虫开发。

需要的库: Python有一个庞大的第三方库生态系统，我们将使用几个核心库来开发我们的爬虫：

  • requests: 用于发送HTTP请求和处理响应。
  • json: 用于处理JSON格式的数据。
  • urllib: 提供了在网络上获取数据的一些功能，我们主要用来进行URL编码。
  • os: 提供了与操作系统交互的功能，用于创建文件夹等文件操作。
  • time: 提供了时间相关的功能，例如休眠程序以及计时等。

可以使用以下命令通过pip安装这些库：

pip install requests

如果你使用的是Anaconda等集成环境，可以使用conda命令：

conda install requests

这些库将帮助我们处理HTTP请求、解析和存储数据，以及进行一些基本的系统操作。

二、爬虫设计与实现

爬虫设计思路

目标网站分析

本爬虫目标是从百度图片搜索获取图片链接并下载。百度图片搜索返回的结果是JSON格式的数据，其中包含了图片的缩略图链接。

数据获取流程
  1. 构建百度图片搜索的URL，通过GET请求获取JSON数据。
  2. 解析JSON数据，提取缩略图链接。
  3. 下载图片到本地存储。

代码实现

初始化爬虫类（BaiduImageSpider）
import requests
import json
from urllib import parse
import os
import time

class BaiduImageSpider(object):
    def __init__(self):
        self.json_count = 0  # 请求到的json文件数量（一个json文件包含30个图像文件）
        self.url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=5179920884740494226&ipn=rj&ct' \
                   '=201326592&is=&fp=result&queryWord={' \
                   '}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word={' \
                   '}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn={' \
                   '}&rn=30&gsm=1e&1635054081427= '
        self.directory = r"C:\价值一个亿\python-mini-projects\projects\baidutupian\{}"  # 存储目录  这里需要修改为自己希望保存的目录  {}不要丢
        self.header = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
                          'Accept-Language': 'en-US,en;q=0.9',
                          'Referer': 'https://image.baidu.com'
        }
创建存储文件夹
# 创建存储文件夹
 def create_directory(self, name):
     self.directory = self.directory.format(name)
     # 如果目录不存在则创建
     if not os.path.exists(self.directory):
         os.makedirs(self.directory)
     self.directory += r'\{}'
获取图像链接
# 获取图像链接
def get_image_link(self, url):
    list_image_link = []
    strhtml = requests.get(url, headers=self.header)  # Get方式获取网页数据
    print(f"Response content for URL {url}:\n{strhtml.text}\n")
    
    try:
        jsonInfo = json.loads(strhtml.text)
    except json.JSONDecodeError:
        print("Error decoding JSON")
        return list_image_link

    if 'data' in jsonInfo:
        for index in range(len(jsonInfo['data'])):
            if 'thumbURL' in jsonInfo['data'][index]:
                list_image_link.append(jsonInfo['data'][index]['thumbURL'])
    else:
        print("No 'data' key in the response JSON")

    return list_image_link
下载图片
# 下载图片
def save_image(self, img_link, filename):
    try:
        res = requests.get(img_link, headers=self.header)
        if res.status_code == 404:
            print(f"图片 {img_link} 下载出错")
        else:
            with open(filename, "wb") as f:
                f.write(res.content)
                print("存储路径：" + filename)
    except requests.RequestException as e:
        print(f"Error downloading image: {e}")
主运行函数
# 入口函数
def run(self):
    searchName = input("查询内容：")
    searchName_parse = parse.quote(searchName)  # 编码

    self.create_directory(searchName)

    pic_number = 0  # 图像数量
    for index in range(self.json_count):
        pn = index * 30
        request_url = self.url.format(searchName_parse, searchName_parse, str(pn))
        list_image_link = self.get_image_link(request_url)
        for link in list_image_link:
            pic_number += 1
            self.save_image(link, self.directory.format(str(pic_number) + '.jpg'))
            time.sleep(1)  # 休眠1秒，防止封ip
    print(searchName + "----图像下载完成--------->")

三、代码详解

__init__ 方法

init 方法用于初始化爬虫类的属性。在这个方法中，我们定义了以下几个重要的属性：

  • json_count: 用于指定要请求的JSON文件数量，每个JSON文件包含多个图像条目。
  • url: 百度图片搜索的API URL，包含了多个参数用于构造请求。
  • directory: 存储下载图片的目录路径。这个路径在 create_directory 方法中被初始化和修改。
  • header: 请求头信息，包括用户代理、接受语言和引用页，用于模拟浏览器发送请求。

create_directory 方法

create_directory 方法根据提供的名称创建存储图片的文件夹。具体步骤如下：

  1. 将 directory 属性格式化为指定的存储目录路径。
  2. 使用 os.makedirs() 方法创建多层目录，如果目录不存在的话。
  3. 将 directory 属性更新为包含图片文件名格式的路径，以便后续保存图片时直接在该路径下生成文件。

get_image_link 方法

get_image_link 方法负责发送GET请求获取百度图片搜索返回的JSON数据，并解析数据提取图片的缩略图链接。具体步骤如下：

  1. 使用 requests.get() 方法发送GET请求，获取包含图片信息的JSON数据。
  2. 尝试解析返回的JSON数据，如果解析失败则捕获 json.JSONDecodeError 异常并打印错误信息。
  3. 如果JSON数据中包含 data 键，遍历数据条目并提取每个条目中的 thumbURL（缩略图链接），将其添加到 list_image_link 列表中。
  4. 如果JSON数据中不存在 data 键，则打印相应的错误信息并返回空列表。

save_image 方法

save_image 方法用于下载图片到本地存储。具体步骤如下：

  1. 使用 requests.get() 方法发送GET请求，获取包含图片数据的响应。
  2. 检查响应状态码，如果返回的状态码是404，则打印错误信息表示图片下载失败。
  3. 如果响应正常，将图片数据写入以指定文件名 filename 打开的二进制文件中（使用 “wb” 模式）。
  4. 打印存储图片的路径信息，表示图片已成功保存到本地。

run 方法

run 方法是爬虫的主运行函数，负责处理用户输入的查询内容，循环获取图片链接并下载到本地存储。具体步骤如下：

  1. 提示用户输入要查询的内容，并对用户输入的内容进行URL编码，以便构造百度图片搜索的查询URL。
  2. 调用 create_directory 方法创建存储图片的目录，目录名与用户输入的查询内容相关联。
  3. 初始化 pic_number 变量，用于记录已下载的图片数量。
  4. 使用循环从0到 json_count （设定的请求的JSON文件数量）遍历，构造不同页数的百度图片搜索URL，发送请求并获取图片链接。
  5. 遍历获取的图片链接列表，逐个下载图片到本地存储，并在每次下载后休眠1秒以防止IP被封禁。
  6. 下载完成后打印提示信息，指示所有图片已成功下载并存储到指定目录中。

以上详细解释了每个方法在爬虫实现中的作用和具体实现步骤，确保了爬虫能够有效地从百度图片搜索中获取指定数量的图片并保存到本地。

四、亮数据代理IP的使用

为什么需要代理IP

在爬取网站数据时，频繁的请求会被网站识别为异常流量，可能导致IP被封禁。使用代理IP可以隐藏真实IP，降低被封禁的风险。

如何在爬虫中配置代理IP

可以使用第三方代理IP服务商提供的代理IP池，例如requests库中的proxies参数。这里我采用的是亮数据IP代理服务。
在这里插入图片描述

修改代码以支持代理IP

在请求中添加代理IP，例如：

proxies = {
  'http': 'http://user:password@proxy_ip:port',
  'https': 'https://user:password@proxy_ip:port',
}
requests.get(url, headers=self.header, proxies=proxies)

五、完整代码及运行结果

以下是完整的Python代码实现：

# -*- coding:utf8 -*-
import requests
import json
from urllib import parse
import os
import time

class BaiduImageSpider(object):
    def __init__(self):
        self.json_count = 0  # 请求到的json文件数量（一个json文件包含30个图像文件）
        self.url = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=5179920884740494226&ipn=rj&ct' \
                   '=201326592&is=&fp=result&queryWord={' \
                   '}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=0&hd=&latest=&copyright=&word={' \
                   '}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&nojc=&pn={' \
                   '}&rn=30&gsm=1e&1635054081427= '
        self.directory = r"C:\价值一个亿\python-mini-projects\projects\baidutupian\{}"  # 存储目录  这里需要修改为自己希望保存的目录  {}不要丢
        self.header = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
                          'Accept-Language': 'en-US,en;q=0.9',
                          'Referer': 'https://image.baidu.com'
        }

    # 创建存储文件夹
    def create_directory(self, name):
        self.directory = self.directory.format(name)
        # 如果目录不存在则创建
        if not os.path.exists(self.directory):
            os.makedirs(self.directory)
        self.directory += r'\{}'

    # 获取图像链接
    def get_image_link(self, url):
        list_image_link =

 []
        strhtml = requests.get(url, headers=self.header)  # Get方式获取网页数据
        print(f"Response content for URL {url}:\n{strhtml.text}\n")
        
        try:
            jsonInfo = json.loads(strhtml.text)
        except json.JSONDecodeError:
            print("Error decoding JSON")
            return list_image_link

        if 'data' in jsonInfo:
            for index in range(len(jsonInfo['data'])):
                if 'thumbURL' in jsonInfo['data'][index]:
                    list_image_link.append(jsonInfo['data'][index]['thumbURL'])
        else:
            print("No 'data' key in the response JSON")

        return list_image_link

    # 下载图片
    def save_image(self, img_link, filename):
        try:
            res = requests.get(img_link, headers=self.header)
            if res.status_code == 404:
                print(f"图片 {img_link} 下载出错")
            else:
                with open(filename, "wb") as f:
                    f.write(res.content)
                    print("存储路径：" + filename)
        except requests.RequestException as e:
            print(f"Error downloading image: {e}")

    # 入口函数
    def run(self):
        searchName = input("查询内容：")
        searchName_parse = parse.quote(searchName)  # 编码

        self.create_directory(searchName)

        pic_number = 0  # 图像数量
        for index in range(self.json_count):
            pn = index * 30
            request_url = self.url.format(searchName_parse, searchName_parse, str(pn))
            list_image_link = self.get_image_link(request_url)
            for link in list_image_link:
                pic_number += 1
                self.save_image(link, self.directory.format(str(pic_number) + '.jpg'))
                time.sleep(1)  # 休眠1秒，防止封ip
        print(searchName + "----图像下载完成--------->")

if __name__ == '__main__':
    spider = BaiduImageSpider()
    spider.json_count = 10  # 定义下载10组图像，也就是三百张
    spider.run()

演示爬虫的运行

运行以上代码，按照提示输入查询内容，爬虫将开始从百度图片搜索下载相关图片。

在这里插入图片描述

下载的图片展示

在这里插入图片描述

六、总结

本文详细介绍了如何使用Python编写一个简单的爬虫，用于从百度图片搜索下载图片。通过分析目标网站、设计爬虫流程、实现代码以及配置代理IP，使得爬虫能够有效地获取图片数据。通过本项目，读者可以学习到基本的爬虫原理和实现方法，同时也了解到了如何处理异常情况和优化爬虫效率的方法。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/752320.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

AI小白使用Macbook Pro安装llama3与langchain初体验

AI小白使用Macbook Pro安装llama3与langchain初体验

1. 背景 AI爆火了2年有余，但我仍是一个AI小白，最近零星在学，随手记录点内容供自己复习。 上次在Macbook Pro上安装了Stable Diffusion，体验了本地所心所欲地生成各种心仪的图片，完全没有任何限制的惬意。今天想使用M…
阅读更多...
从@Param注解开始，深入了解 MyBatis 参数映射的原理

从@Param注解开始，深入了解 MyBatis 参数映射的原理

系列文章目录 MyBatis缓存原理 Mybatis plugin 的使用及原理 MyBatisSpringboot 启动到SQL执行全流程 数据库操作不再困难，MyBatis动态Sql标签解析 Mybatis的CachingExecutor与二级缓存 使用MybatisPlus还是MyBaits ，开发者应该如何选择？ 巧…
阅读更多...
解决所有终端中文输出乱码的问题

解决所有终端中文输出乱码的问题

一、系统自带的cmd.exe 以及 Git的bash.exe、sh.exe、git-bash.exe和git-cmd.exe，和PowerShell默认使用“当前系统区域设置”设定好的936 (ANSI/OEM - 简体中文 GBK)语言编码。 1、[当前代码页] 的936 (ANSI/OEM - 简体中文 GBK) 是导致中文乱码的原因 在控制面板→…
阅读更多...
【基于深度学习方法的激光雷达点云配准系列之GeoTransformer】——模型部分浅析(1)

【基于深度学习方法的激光雷达点云配准系列之GeoTransformer】——模型部分浅析(1)

【GeoTransformer系列】——模型部分 1. create_model2. model的本质3. 模型的主要结构3.1 backbone3.2 transformer本篇继续对GeoTransformer/experiments/geotransformer.kitti.stage5.gse.k3.max.oacl.stage2.sinkhorn/下面的trainval.py进行详细的解读,主要是模型部分, 可以…
阅读更多...
单位转换：将kb转换为 MB ，GB等形式

单位转换：将kb转换为 MB ，GB等形式

写法一&#xff1a; function formatSizeUnits(kb) {let units [KB, MB, GB, TB, PB,EB,ZB,YB];let unitIndex 0;while (kb > 1024 && unitIndex < units.length - 1) {kb / 1024;unitIndex;}return ${kb.toFixed(2)} ${units[unitIndex]}; } console.log(for…
阅读更多...
linux 下配置docker mirrors

linux 下配置docker mirrors

一、配置mirrors vi /etc/docker/daemon.json {"registry-mirrors": ["https://docker.blfrp.cn"],"log-opts": {"max-size": "10m","max-file": "3"} }#完成配置后重启docker systemctl restart dock…
阅读更多...
SAP ALV 负号提前

SAP ALV 负号提前

FUNCTION CONVERSION_EXIT_ZSIGN_OUTPUT. *"---------------------------------------------------------------------- *"*"本地接口&#xff1a; *" IMPORTING *" REFERENCE(INPUT) *" EXPORTING *" REFERENCE(OUTPUT) *"…
阅读更多...
labview排错

labview排错

源代码正常跑&#xff0c;应用程序报这个错&#xff0c;是因为源代码的可以找到项目路径内所有dll的路径&#xff0c;而应用程序只能找到data文件夹的dll文件 解决查看源代码中.net的程序集的路径&#xff0c;复制对应的dll到data文件夹下
阅读更多...
24V 350W开关电源电路原理图+PCB工程文件 UC3843AD lm193芯片

24V 350W开关电源电路原理图+PCB工程文件 UC3843AD lm193芯片

资料下载地址&#xff1a;24V 350W开关电源电路原理图PCB工程文件 UC3843AD lm193芯片 1、原理图 2、PCB
阅读更多...
昇思25天学习打卡营第5天|数据变换Transforms

昇思25天学习打卡营第5天|数据变换Transforms

数据变换 Transforms 在完成数据加载后&#xff0c;还应该对数据进行预处理。之前在数据集篇介绍过map函数&#xff0c;这里的transform就是和map一起使用的。transform有针对图像、文本、音频等不同类型的&#xff0c;并且也支持lambda函数。 环境配置 import numpy as np …
阅读更多...
Echarts地图实现：各省市计划录取人数

Echarts地图实现：各省市计划录取人数

Echarts地图实现&#xff1a;各省市计划录取人数 实现功能 本文将介绍如何使用 ECharts 制作一个展示中国人民大学2017年各省市计划录取人数的地图。我们将实现以下图表形式&#xff1a; 地图&#xff1a;基础的地图展示&#xff0c;反映不同省市的录取人数。散点图&#xf…
阅读更多...
华为od 2024 | 什么是华为od，od 薪资待遇，od机试题清单

华为od 2024 | 什么是华为od，od 薪资待遇，od机试题清单

目录 专栏导读华为OD机试算法题太多了&#xff0c;知识点繁杂&#xff0c;如何刷题更有效率呢&#xff1f; 一、逻辑分析二、数据结构1、线性表① 数组② 双指针 2、map与list3、队列4、链表5、栈6、滑动窗口7、二叉树8、并查集9、矩阵 三、算法1、基础算法① 贪心思维② 二分查…
阅读更多...
【系统架构设计师】四、嵌入式基础知识（软件|软件设计|硬件|式总线逻辑）

【系统架构设计师】四、嵌入式基础知识（软件|软件设计|硬件|式总线逻辑）

目录 一、嵌入式软件 1.1 嵌入式软件分类 1.2 板级支持包(BSP) 1.3 BootLoader 1.4 设备驱动程序 二、嵌入式软件设计 2.1 编码 2.2 交叉编译 2.3 交叉调试 三、嵌入式系统硬件的分类 3.1 根据用途分类 3.2 存储器分类 四、内&#xff08;外&#xff09;总线逻辑 …
阅读更多...
江科大笔记—FLASH闪存

江科大笔记—FLASH闪存

FLASH闪存 程序现象&#xff1a; 1、读写内部FLASH 这个代码的目的&#xff0c;就是利用内部flash程序存储器的剩余空间&#xff0c;来存储一些掉电不丢失的参数。所以这里的程序是按下K1变换一下测试数据&#xff0c;然后存储到内部FLASH&#xff0c;按下K2把所有参数清0&…
阅读更多...
力扣每日一题 6/23 字符串/模拟

力扣每日一题 6/23 字符串/模拟

博客主页&#xff1a;誓则盟约系列专栏&#xff1a;IT竞赛 专栏关注博主&#xff0c;后期持续更新系列文章如果有错误感谢请大家批评指出&#xff0c;及时修改感谢大家点赞&#x1f44d;收藏⭐评论✍ 520.检测大写字母【简单】 题目&#xff1a; 我们定义&#xff0c;在以下…
阅读更多...
【web开发】chrome拦截localhost跨域请求原因

【web开发】chrome拦截localhost跨域请求原因

在设置中&#xff0c;默认屏蔽了&#xff0c;请求不会到localhost服务器 chrome://flags/#block-insecure-private-network-requests 设置disable即可
阅读更多...
solidworks钣金工厂共享云桌面方案

solidworks钣金工厂共享云桌面方案

随着信息技术的飞速发展和企业数字化转型的深入&#xff0c;传统的钣金工厂面临着诸多挑战&#xff0c;其中之一就是如何在保证数据安全的前提下&#xff0c;提高设计、生产和管理的效率。 SolidWorks是一款专业的三维3D设计软件&#xff0c;功能强悍&#xff0c;支持分布式数…
阅读更多...
Word页眉横线怎么删除？5个方法，记得收藏！

Word页眉横线怎么删除？5个方法，记得收藏！

在数字化办公日益普及的今天&#xff0c;Word文档成为了我们日常工作中不可或缺的一部分。然而&#xff0c;在编辑和排版Word文档时&#xff0c;我们有时会面临一些看似微小却令人头疼的问题&#xff0c;比如页眉中的横线。这条不起眼的横线&#xff0c;就像是在整洁的页面上划…
阅读更多...
基于SpringBoot的藏区特产销售平台

基于SpringBoot的藏区特产销售平台

你好呀&#xff0c;我是计算机学姐码农小野&#xff01;如果有相关需求&#xff0c;可以私信联系我。 开发语言&#xff1a; Java 数据库&#xff1a; MySQL 技术&#xff1a; SpringBoot框架 工具&#xff1a; MyEclipse 系统展示 首页 个人中心 特产信息管理 订单管…
阅读更多...
CentOS安装Docker教程（包含踩坑的经验）

CentOS安装Docker教程（包含踩坑的经验）

目录 一.基础安装 ▐ 安装Docker 二.启动Docker服务 三.配置Docker镜像加速 一.基础安装 在安装Docker之前可能需要先做以下准备 首先如果系统中已经存在旧的Docker&#xff0c;则先卸载&#xff1a; yum remove docker \docker-client \docker-client-latest \docker-…
阅读更多...
最新文章

Copyright @ 2022~2023