网络爬虫学习：借助DeepSeek完善爬虫软件，增加停止任务功能

一、引言

我从24年11月份开始学习网络爬虫应用开发，经过2个来月的努力，终于完成了开发一款网络爬虫软件的学习目标。这几天对本次学习及应用开发进行一下回顾总结。前面已经发布了两篇日志：

网络爬虫学习：应用selenium从搜*狐搜索爬取新闻结果的数据

网络爬虫学习：应用selenium获取Edge浏览器版本号，自动下载对应版本msedgedriver，确保Edge浏览器顺利打开

这是第三篇日志，记录如何为软件增加停止任务功能。

二、问题描述

软件初步开发完成后，我打包成exe文件提供给小伙伴试用，有小伙伴问我，软件怎么没有停止任务的功能？如果点击开始按钮后，又不想爬取了，想换个关键字再爬，但没有停止功能，就只能等着软件完成当前的所有任务或者关闭软件，这样不合理，建议我增加一个停止功能。

这个需求是合情合理的，但奈何我的能力有限，对爬虫知识学得不够深入，关于怎么停止当前正在执行的任务还真不会。但小伙伴提出的改进意见，那么我就要努力去完善，这样也是对自己能力的提升。

三、借助DeepSeek完善软件

在前一篇日志里，我记录了通过向DeepSeek提问，获得了自动下载对应版本msedgedriver的方法，让我的爬虫软件可以在小伙伴的电脑上正常运行。这次我决定继续向DeepSeek提问，获得实现停止爬虫任务的方法。

我一共向DeepSeek提了3个问题，最终获得了我想要的答案。

第1问：“我使用python语言开发爬虫软件，用到了threading.Thread和concurrent.futures，使爬虫在多线程下运行。我现在遇到了一个问题，当开始执行爬虫任务后，我该如何终止爬虫任务？”

DeepSeek思考了22秒给了我答案，答案里有两个方法。这两个方法都是通过捕获 KeyboardInterrupt（Ctrl+C）或注册信号处理器，来停止所有线程。我在pycharm上尝试运行了这两个方法中的代码，发现都需要通过按下Ctrl+F2来停止爬虫任务，而我是希望在GUI上添加一个停止按钮，点击按钮后，停止爬虫任务，显然DeepSeek提供的答案并没有达到我的目的。

第1问的答案不符合我的需求，应该是我的问题描述还不够详细，我继续提问。

第2问：“上面给出的答案需要按Ctrl+C才能终止多线程爬虫任务，而我要开发的是带GUI的爬虫软件，该软件使用到了wxpython，我希望在GUI中设置一个停止按钮，当用户点击这个按钮后，能够停止多线程爬虫任务。”

这一次，DeepSeek给了我一个基本符合要求的答案，不过DeepSeek提供的Python代码直接运行会报错，需要对错误的地方做一下修改。在pycharm上实现了点击停止按钮后中断爬虫任务的目的。

（DeepSeek的解答）

（DeepSeek提供的代码运行会报错，需要修改）

（在pycharm上运行代码，可以实现停止爬虫任务）

不过我在对上述代码进行深入研究，并尝试按照我的编程风格和实际需求进行修改后发现了其中的不足。由此我提出了第3问。

第3问：“上面的答案有效，不过有一个不足，就是最终实现代码中的CrawlerTask方法里模拟爬取操作代码做得很简单，且又是在while循环中，导致如果不点击中断会无限循环下去。而实际上，爬虫任务基本是有限次数的，任务完成后会通过break退出while循环。我向知道的是在爬虫任务完成后通过break退出while循环后，如何将self.start_btn设置为Enable，将self.stop_btn设置为Disable”

我的这一问虽然把需求都提出来了，但是语句不够精炼，并且还要错别字。DeepSeek的回答真是让人惊艳，它用更精炼的文字，将我的问题准确的描述了出来。

好的，我现在需要解决用户的问题。用户之前已经得到了如何在GUI中通过停止按钮终止多线程爬虫的解决方案，但现在他指出了代码中的一个不足：CrawlerTask中的模拟爬取操作过于简单，且使用了无限循环，而实际爬虫任务应该是有限次数的，完成后自动停止。用户想知道当任务自然完成时，如何正确更新按钮状态（启用开始按钮，禁用停止按钮）。

DeepSeek给出了详细的分析和具体的实现步骤，真的很赞。

（第2问的代码需要修改的地方）

（DeepSeek优化后的代码，依然有bug，需要纠错后才能运行）

（关于优化代码的关键改进说明）

（两种典型场景验证）

我将DeepSeek提供的优化后的代码赋值到pycharm中，修改掉其中的bug，运行代码，让爬虫任务运行完成，完成后软件会自动将开始按钮启用，将停止按钮禁用。

另外，DeepSeek还给出了扩展建议，我对这部分内容也进行了吸收融合。

四、功能实现

我对DeepSeek给出的答案进行了研究和融合，最终得到了具有以下功能的示例：

1.软件的GUI使用wxpython（我基本使用wxpython来制作GUI）；

2.使用 threading.Event() 作为全局停止标志，所有爬虫线程定期检查 stop_event.is_set()；

3.使用wx.CallAfter实现跨线程安全更新 GUI

4.软件使用的线程池ThreadPoolExecutor，并且界面中添加了滑动条控制线程池的 max_workers 参数实现动态线程数调整，默认值为3，可以在1-6之间调整；

5.示例模拟爬取6个url，每个url生成一个任务占用一个线程，每个任务随机爬取数量不同的页数，通过异常重试机制让每一页的数据均有3次的重试机会；

6.为每个future添加回调函数，触发状态检查；

7.在CheckThreadsStatus方法中，当所有future完成时，更新按钮状态；

8.支持任务进度显示，添加计数器统计已完成任务；

9.使用Queue线程安全队列收集结果，并能在任务结束后，查看结果。

10.按钮状态逻辑：

初始状态下："开始爬取"按钮启用，“停止爬取”和“查看结果”按钮停用；

执行爬虫任务状态下："停止爬取"按钮启用，“开始爬取”和“查看结果”按钮停用；

任务完成或停止状态下："开始爬取"和“查看结果”按钮按钮启用，“停止爬取”停用；

有了这个模版，就可以参照它对我的爬虫软件进行改进，从而实现增加停止爬虫任务的功能了。

（软件初始状态）

（正常执行完所有爬虫任务）

（强制停止爬虫任务）

（查看爬取的结果）

五、代码展示

最后放上实现上述功能的示例代码供参考，可以直接运行。

import wx
import threading
from concurrent.futures import ThreadPoolExecutor
from queue import Queue
import time
import random


class CrawlerGUI(wx.Frame):
    def __init__(self):
        super().__init__(parent=None, title="多线程爬虫工具", size=wx.Size(480, 560))
        self.stop_event = threading.Event()  # 全局停止标志
        self.executor = None  # 线程池
        self.futures = []  # 记录所有 Future 对象
        self.max_workers = 3  # 同时执行线程数
        self.result_queue = Queue()  # 线程安全队列，用于传递爬取的结果
        self.completed_tasks = 0  # 任务完成数统计

        # 初始化 UI
        self.InitUI()
        self.Centre()
        self.Show()

    def InitUI(self):
        panel = wx.Panel(self)
        vbox = wx.BoxSizer(wx.VERTICAL)

        # 控制按钮区域
        self.start_btn = wx.Button(panel, label="开始爬取")
        self.stop_btn = wx.Button(panel, label="停止爬取")
        self.thread_slider = wx.Slider(panel, value=3, minValue=1, maxValue=6, style=wx.SL_HORIZONTAL | wx.SL_LABELS)
        self.view_btn = wx.Button(panel, label="查看结果")
        self.log_text = wx.TextCtrl(panel, style=wx.TE_MULTILINE | wx.TE_READONLY)
        self.stop_btn.Enable(False)  # 初始状态为不可点击
        self.view_btn.Enable(False)  # 初始状态为不可点击

        # 按钮事件绑定
        self.start_btn.Bind(wx.EVT_BUTTON, self.OnStart)
        self.stop_btn.Bind(wx.EVT_BUTTON, self.OnStop)
        self.thread_slider.Bind(wx.EVT_SLIDER, self.OnThreadChange)
        self.view_btn.Bind(wx.EVT_BUTTON, self.OnView)
        self.Bind(wx.EVT_CLOSE, self.on_close)  # 绑定关闭事件处理器

        # 布局
        hbox = wx.BoxSizer(wx.HORIZONTAL)
        hbox.Add(self.start_btn, 0, wx.ALL, 5)
        hbox.Add(self.stop_btn, 0, wx.ALL, 5)
        hbox.Add(self.view_btn, 0, wx.ALL, 5)
        hbox.Add(self.thread_slider, 0, wx.ALL, 5)
        vbox.Add(hbox, 0, wx.EXPAND)
        vbox.Add(self.log_text, 1, wx.EXPAND | wx.ALL, 5)
        panel.SetSizer(vbox)

    def OnStart(self, event):
        """开始爬取按钮事件"""
        event.Skip()
        self.start_btn.Disable()
        self.stop_btn.Enable()
        self.view_btn.Disable()
        self.log_text.SetLabel("")  # 清空
        self.log_text.AppendText("爬虫已启动...\n")
        self.completed_tasks = 0  # 任务完成数重置

        # 重置停止标志
        self.stop_event.clear()

        # 提交任务（示例URL列表）
        urls = [f"https://example.com/{i}" for i in range(1, 7)]  # 示例6个URL
        # 初始化线程池（默认使用3个线程）
        self.executor = ThreadPoolExecutor(max_workers=self.max_workers)

        # 提交任务并绑定回调
        self.futures = []
        for url in urls:
            future = self.executor.submit(self.CrawlerTask, url)
            future.add_done_callback(self.OnTaskDone)  # 关键：添加完成回调
            self.futures.append(future)

    def OnTaskDone(self, future):
        """单个任务完成时的回调"""
        wx.CallAfter(self.CheckThreadsStatus)  # 安全触发状态检查
        self.completed_tasks += 1
        wx.CallAfter(self.UpdateProgress)

    def CrawlerTask(self, url):
        """处理单个URL的爬取任务"""
        if self.stop_event.is_set():
            return

        try:
            # 模拟有限次数的爬取操作（实际替换为真实抓取逻辑）
            pages = random.randint(4, 10)  # 生成随机数，让每次抓取的页数不同
            for page in range(1, pages):  # 假设每个URL需要抓取多个页面（页数小于pages）
                if self.stop_event.is_set():
                    break

                retries = 3
                while retries > 0 and not self.stop_event.is_set():
                    try:
                        # 模拟抓取过程
                        time.sleep(0.5)
                        # 在CrawlerTask中保存结果
                        data = f'{url}  page{page}  data'  # 模拟爬取到的数据
                        self.result_queue.put(data)
                        msg = f"抓取 {url} 第{page}页完成\n"
                        wx.CallAfter(self.log_text.AppendText, msg)

                        # 此处添加实际抓取代码：
                        # response = requests.get(url, timeout=5)
                        # ...

                        break
                    except Exception:
                        retries -= 1
                        time.sleep(1)
            # 任务自然完成时提示
            if not self.stop_event.is_set():
                wx.CallAfter(self.log_text.AppendText, f"{url} 任务完成！\n")
        except Exception as e:
            wx.CallAfter(self.log_text.AppendText, f"错误: {str(e)}\n")

    def CheckThreadsStatus(self):
        """检查线程状态并更新UI"""
        if all(future.done() for future in self.futures):
            self.start_btn.Enable()
            self.stop_btn.Disable()
            self.view_btn.Enable()
            self.log_text.AppendText("所有任务已完成！\n")
            self.executor.shutdown()  # 关闭线程池

    def UpdateProgress(self):
        """更新任务完成进度"""
        progress = f"完成进度: {self.completed_tasks}/{len(self.futures)}"
        self.log_text.AppendText(progress + "\n")

    def OnStop(self, event):
        """停止爬取按钮事件"""
        event.Skip()
        self.stop_btn.Disable()
        self.log_text.AppendText("正在停止爬虫...\n")
        self.stop_event.set()

        # 取消未开始的任务
        for future in self.futures:
            future.cancel()

        # 强制关闭线程池（如果使用Python 3.9+）
        if self.executor:
            self.executor.shutdown(wait=False)

        wx.CallAfter(self.CheckThreadsStatus)

    def OnThreadChange(self, event):
        """变更线程数"""
        event.Skip()
        self.max_workers = self.thread_slider.GetValue()

    def OnView(self, event):
        """查看结果"""
        event.Skip()
        wx.CallAfter(self.ProcessResults)

    def ProcessResults(self):
        """处理结果"""
        self.log_text.SetLabel("")  # 清空
        while not self.result_queue.empty():
            data = self.result_queue.get()
            # 更新GUI或保存到文件
            self.log_text.AppendText(f"{data}\n")



if __name__ == "__main__":
    app = wx.App()
    CrawlerGUI()
    app.MainLoop()