本文目标
对于猫12目标检测部分的数据集，采用网络爬虫来制作数据集。
在网络爬虫中，经常需要下载大量的图片。为了提高下载效率，可以使用多线程来并发地下载图片。本文将介绍如何使用Python编写一个多线程爬虫程序，用于爬取图片并进行下载。
程序讲解
首先，我们需要导入所需的库，包括requests、PIL、lxml、numpy和threading。其中，requests库用于发送HTTP请求，PIL库用于处理图片，lxml库用于解析HTML，numpy库用于处理数组，threading库用于实现多线程。
import time
import requests
from lxml import etree
import numpy as np
import threading接下来，我们定义了一个函数searchImageurls，用于从指定网站上搜索图片的URL。在这个例子中，我们以https://www.hippopx.com/zh 为例。函数中，我们使用requests库发送HTTP请求，获取网页内容，并使用lxml库解析HTML，提取图片的URL。最后，我们将URL存储在一个数组中，并返回该数组。
def searchImageurls():
ImageUrls = []
for i in range(1, 6):
url = f"https://www.hippopx.com/zh/query?q=cat&page={i}"
response = requests.get(url, headers=headers)
html = response.content.decode('utf-8')
tree = etree.HTML(html)
# print(tree)
image_url = tree.xpath('//*[@id="mainlist"]/li/figure/a/img/@src')
ImageUrls.append(image_url)
ImageUrls = np.array(ImageUrls)
ImageUrls = ImageUrls.flatten()
return ImageUrls然后，我们定义了一个函数download_image，用于下载图片。在这个函数中，我们使用requests库发送HTTP请求，获取图片的内容，并使用PIL库将内容保存为图片文件。如果下载失败，我们会进行最大重试次数的重试。
def download_image(url, filename):
max_retries = 3 # 最大重试次数
retries = 0
while retries < max_retries:
try:
response = requests.get(url)
with open(filename, 'wb') as f:
f.write(response.content)
print(f"Downloaded {filename}")
break # 下载成功，跳出循环
except requests.exceptions.ConnectionError as e:
print(f"Connection error: {e}")
retries += 1
time.sleep(1) # 等待1秒后重试
if retries == max_retries:
print(f"Failed to download {filename}")在主函数中，我们首先调用searchImageurls函数获取图片的URL数组。然后，我们创建多个线程，并将每个线程分配一个URL进行下载。最后，我们等待所有线程完成下载。
最后，我们输出下载完成的消息。
if __name__ == '__main__':
ImageUrls = searchImageurls()
threads = []
print("开始下载")
for i, url in enumerate(ImageUrls):
filename = f'./images/cat{i + 1}.jpg'
thread = threading.Thread(target=download_image, args=(url, filename))
thread.start()
threads.append(thread)
for thread in threads:
thread.join()
print("全部下载完毕")
注：Connection error: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response')) -- 这是由于错误的url导致的
完整代码
import time
import requests
from lxml import etree
import numpy as np
import threading
# 爬取的图片网站 https://www.hippopx.com/zh
headers = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0"}
def searchImageurls():
ImageUrls = []
for i in range(1, 6):
url = f"https://www.hippopx.com/zh/query?q=cat&page={i}"
response = requests.get(url, headers=headers)
html = response.content.decode('utf-8')
tree = etree.HTML(html)
# print(tree)
image_url = tree.xpath('//*[@id="mainlist"]/li/figure/a/img/@src')
ImageUrls.append(image_url)
ImageUrls = np.array(ImageUrls)
ImageUrls = ImageUrls.flatten()
return ImageUrls
# 图片下载
def download_image(url, filename):
max_retries = 3 # 最大重试次数
retries = 0
while retries < max_retries:
try:
response = requests.get(url)
with open(filename, 'wb') as f:
f.write(response.content)
print(f"Downloaded {filename}")
break # 下载成功，跳出循环
except requests.exceptions.ConnectionError as e:
print(f"Connection error: {e}")
retries += 1
time.sleep(1) # 等待1秒后重试
if retries == max_retries:
print(f"Failed to download {filename}")
if __name__ == '__main__':
ImageUrls = searchImageurls()
threads = []
print("开始下载")
for i, url in enumerate(ImageUrls):
filename = f'./images/cat{i + 1}.jpg'
thread = threading.Thread(target=download_image, args=(url, filename))
thread.start()
threads.append(thread)
for thread in threads:
thread.join()
print("全部下载完毕")
