摘要:开发高级的舰船检测与识别系统对于提升海上安全监控和航运管理至关重要。本篇博客详细阐述了如何应用深度学习技术构建舰船检测与识别系统,并提供了完整的实施代码。本系统采用了性能强大的YOLOv8算法,并与YOLOv7、YOLOv6、YOLOv5进行了细致的性能对比,展示了不同模型的mAP、F1 Score等关键性能指标。文章深入探讨了YOLOv8算法的基础原理,提供了相应的Python代码和训练数据集,以及一个基于PySide6的直观UI界面。
该系统能够高度精确地在图像中检测和分类各类舰船如货轮、油船、游轮等,支持从静态图片、图像集、视频以及实时摄像头输入进行检测。系统包括热力图分析、目标标注框、类别统计、可调节的置信度和IOU阈值、结果可视化等功能;还包括了一个基于SQLite的用户管理界面,允许用户轻松切换不同检测模型和自定义UI界面。本文旨在为深度学习入门者提供一份实用的指导和参考,文章末尾提供了代码和数据集的下载链接,以便于读者下载和应用。本文结构如下:
文章目录
- 前言
- 1.数据集介绍
- 2. 系统界面效果
- 3. YOLOv8算法原理
- 4. 代码简介
- 4.1 模型预测
- 4.2 模型训练
- 4.3 YOLOv5、YOLOv6、YOLOv7和YOLOv8对比
- 4.4 代码实现
- 5. 舰船检测与识别系统实现
- 5.1 系统设计思路
- 5.2 登录与账户管理
- 下载链接
- 6. 总结与展望
- 结束语
➷点击跳转至文末所有涉及的完整代码文件下载页☇
基于YOLOv8/v7/v6/v5的舰船检测与识别系统演示与介绍(深度学习模型+PySide6界面+训练代码)
前言
随着全球海洋活动的增加,舰船检测与识别技术在海上交通安全、国防安全、海洋资源管理等领域发挥着越来越重要的作用。特别是深度学习技术的发展,为提高舰船检测的准确性和效率提供了新的解决方案。近年来,基于YOLO(You Only Look Once)系列算法的研究受到了广泛关注,不仅因为其实时性高、准确率好的特点,而且因为它在处理复杂海洋背景下的舰船检测任务上显示出了卓越的性能。
YOLO系列算法从YOLOv1迅速发展到最新的YOLOv8,每个版本都在性能上有所提升。YOLOv4和YOLOv5的发布,分别引入了新的特征融合机制和自适应锚框计算等技术,大大提高了检测的准确性和速度1。随后,YOLOv6和YOLOv7在保持高速度的同时,进一步优化了模型结构和训练策略,以适应更多变的检测场景23。最新的YOLOv8则在此基础上,通过引入更先进的深度学习技术,如Transformer结构,提升了模型对小目标的检测能力和在复杂环境下的鲁棒性4。
在舰船检测的具体应用中,研究者们不断探索YOLO算法的改进方法,以应对海面反光、小目标检测难度大、背景复杂等挑战。例如,一些研究通过融合多尺度特征图和采用注意力机制,显著提高了模型对于远距离小舰船的检测准确率56。此外,为了解决训练数据不足的问题,一些工作采用了生成对抗网络(GAN)来增强训练数据集,从而提高了模型在实际海洋环境中的泛化能力。
尽管基于YOLO的舰船检测技术已经取得了显著进展,但仍面临着一些挑战,如提高在复杂天气条件下的检测稳定性、优化算法以减少计算资源消耗等。未来的研究趋势可能会集中在算法的轻量化、跨域检测能力的提升以及模型的自适应调整机制上。
综上所述,基于YOLO系列算法的舰船检测与识别技术正处于快速发展之中,通过不断的技术创新和应用探索,有望在未来实现更加准确、高效的舰船检测能力。随着研究的深入,这些技术将为海洋安全、航运管理和国防建设等领域提供强有力的技术支持。
本博客所做的工作是基于YOLOv8算法构建一个舰船检测与识别系统,呈现系统界面的效果,深入讲解其算法原理,提供代码实现,并分享系统的开发过程。希望本博客的分享能给予读者一定的启示,推动更多的相关研究。本文的主要贡献如下:
- 采用最先进的YOLOv8算法进行舰船检测与识别:通过引入YOLOv8算法,本文不仅提高了舰船检测的效率和准确度,并与先前版本的YOLO算法(v7、v6、v5)进行了细致的对比分析,展现出显著的性能提升。详细的算法对比分析为研究者和从业者提供了全新的视角和操作手段,促进了该领域技术的进步和创新。
- 利用PySide6实现用户友好的舰船检测与识别系统:本文通过Python的PySide6库开发了一个界面友好、操作简便的系统。这不仅降低了用户的操作难度,而且推广了YOLOv8算法在舰船检测与识别领域的应用,加速了技术成果的实际落地。
- 包含登录管理功能:通过设计登录管理功能,本系统增强了使用安全性,并为将来集成更多个性化功能打下了基础。这一创新不仅提升了系统的专业性,还增加了其可扩展性和适用范围。
- 对YOLOv8模型的深入研究:本文不仅应用了YOLOv8算法,而且对其性能进行了全面深入的分析,包括精准度、召回率等关键性能指标的评估,以及在不同环境条件下的表现分析。这些研究成果为后续算法的优化和改进提供了坚实的理论基础和实践经验。
- 提供完整的数据集和代码资源包:通过分享详细的数据集和完整的代码实现,本文极大地降低了读者复现实验结果的难度,为读者进一步的研究和开发工作提供了便利。这一做法不仅体现了开放科学的精神,也促进了技术知识的传播和共享。
1.数据集介绍
我们将深入探讨数据集的构成及其在模型训练中的重要性。我们的数据集由5725张图像组成,它们被细心地分为4022张用于训练、1130张用于验证以及573张用于测试的集合。这样的分配策略确保了模型能在丰富的数据上进行学习,并在独立的数据上进行准确性和泛化能力的验证。
在预处理阶段,所有图像都经过了自动定向处理,确保图像内容的正确朝向,并移除了可能干扰模型训练的EXIF方向信息。接着,为了适应深度学习模型对输入尺寸的要求,图像被统一调整到了810x1080像素的分辨率,尽管这一“拉伸”可能会改变原始图像的宽高比,但它为保持模型训练的一致性和计算效率提供了保证。
数据集的类别分布是我们分析的另一个关键点。在众多舰船类别中,我们发现实例数量存在显著的不平衡。最常见的类别拥有超过1000个实例,而其他类别如浮标、集装箱船、游轮、渔船和军舰的数量则少得多。这种不平衡可能导致模型对频繁出现的类别过度拟合,而忽视了较少见的类别。因此,平衡这种不平衡至关重要,可以通过过采样较少见的类别或者在损失函数中调整权重来实现。
此外,我们对标注框的分布进行了分析。大多数标注框集中在图像中心,这可能反映了图像采集时的偏好,也提供了对数据集采集策略的洞见。同时,我们注意到许多标注框的尺寸较小,这对于检测算法来说是一个挑战,尤其是在识别远处或小型舰船时。为了解决这一问题,我们可能需要采用特定的数据增强技术,如尺度变换、随机裁剪等,来增加模型对小目标的检测能力。博主使用的类别代码如下:
Chinese_name = {'a': "A型", 'buoy': "浮标", 'container': "货轮", 'cruise': "游轮", 'fish-b': "渔船", 'warship': "军舰"}
综上所述,我们的数据集是专门为舰船检测与识别任务设计的,具有多样化的图像背景、丰富的类别和实例,以及为深度学习模型训练精心准备的预处理操作。通过详细分析数据集的特点和挑战,我们可以更好地理解如何为模型训练制定策略,以及如何调整模型架构和训练过程来适应这些特点。
2. 系统界面效果
系统以PySide6作为GUI库,提供了一套直观且友好的用户界面。下面,我将详细介绍各个主要界面的功能和设计。
(1)系统提供了基于SQLite的注册登录管理功能。用户在首次使用时需要通过注册界面进行注册,输入用户名和密码后,系统会将这些信息存储在SQLite数据库中。注册成功后,用户可以通过登录界面输入用户名和密码进行登录。这个设计可以确保系统的安全性,也为后续添加更多个性化功能提供了可能性。
(2)在主界面上,系统提供了支持图片、视频、实时摄像头和批量文件输入的功能。用户可以通过点击相应的按钮,选择要进行舰船检测的图片或视频,或者启动摄像头进行实时检测。在进行舰船检测时,系统会实时显示检测结果,并将检测记录存储在数据库中。
(3)此外,系统还提供了一键更换YOLOv8模型的功能。用户可以通过点击界面上的"更换模型"按钮,选择不同的YOLOv8模型进行检测。与此同时,系统附带的数据集也可以用于重新训练模型,以满足用户在不同场景下的检测需求。
(4)为了提供更个性化的使用体验,这里系统支持界面修改,用户可以自定义图标、文字等界面元素。例如,用户可以根据自己的喜好,选择不同风格的图标,也可以修改界面的文字描述。
3. YOLOv8算法原理
Ultralytics公司于2023年初发布YOLOv8模型,相较于2020年发布的YOLOv5模型, YOLOv8模型将C3模块(CSP Bottleneck with 3 convolutions)改进成C2f模块(CSP Bottleneck with 2 convolutions)。图中CBS(Convolutions Bn SiLU)模块由基础卷积(Conv)、批量归一化(BN)和激活函数(SiLU)组成。C2f模块采用了多分支流设计,为模型提供了更丰富的梯度信息,强化了模型的特征提取能力,提高网络的学习效率。7
YOLOv8模型仍然采用anchor free方法,降低检测过程中正样本框数量,并提升处理速度。此外,模型结合了GFL(generalized focal loss)损失计算策略,将Detect模块由YOLOv5中的耦合头改进成解耦头,如图所示。解耦头将分类任务和回归任务分开进行,避免了两个任务之间的干扰,理论上能够提高模型的训练效率。传统的YOLO系列算法的耦合头输出三类信息,而YOLOv8模型中的解耦头仅输出分类和回归信息。分类信息的输出通道数等于类别数,输出的内容综合了分类信息和置信度信息。回归信息的输出通道数等于,输出内容为回归框在最大回归范围上的概率分布。7
YOLOv8采用了动态标签匹配策略,增加了正样本框选择的灵活度。在损失计算方面,YOLOv8除了计算分类和回归损失外,还引入了DFL(distribution focal loss)损失。DFL损失利用交叉熵的思想,通过将预测框回归至标签框的上下整数范围内,优化模型训练。在此基础上对YOLOv8模型进行改进,将C2f模块改进成GhostC2f模块,并引入空间注意力机制,优化模型的回归预测范围,修改Neck部分第三个Concat部分的输入来源。7
4. 代码简介
在本节中,我们将详细介绍如何使用YOLOv8进行舰船检测与识别的代码实现。代码主要分为两部分:模型预测和模型训练。
4.1 模型预测
在模型预测部分,首先导入了OpenCV库和YOLO模型。OpenCV库是一个开源的计算机视觉和机器学习软件库,包含了众多的视觉处理函数,使用它来读取和处理图像。YOLO模型则是要用到的目标检测模型。
import cv2
from ultralytics import YOLO
接着,加载自行训练好的YOLO模型。这个模型是在大量的图像上预训练得到的,可以直接用于目标检测任务。
model.load_model(abs_path("weights/ship-yolov8n.pt", path_type="current"))
然后,使用OpenCV读取了一个图像文件,这个图像文件作为要进行目标检测的图像输入。
img_path = abs_path("test_media/t3.jpg")
image = cv_imread(img_path)
在读取了图像文件之后,就可以使用加载的模型对图像进行预测了。下图为预测结果。
pred, superimposed_img = model.predict(pre_img)
4.2 模型训练
在模型训练部分,我们将深入探讨如何利用Python及其强大的库来训练一个舰船检测与识别模型。
首先,我们的代码导入了必要的Python库,如os和yaml,以及从ultralytics库导入的YOLO类。这些库和类是实现我们目标检测任务的基础。os库允许我们与操作系统交互,而yaml库是用来处理YAML文件,这种文件格式通常用于配置文件,因为它易于读写且结构清晰。
import os
import yaml
from ultralytics import YOLO # 导入YOLO模型
from QtFusion.path import abs_path
接下来,我们确保只有在这段代码作为主程序运行时才执行下面的代码。在准备训练模型之前,我们需要指定数据集的配置文件路径。我们使用自定义函数abs_path来找到vehicle.yaml文件的绝对路径,这个文件包含了训练数据的细节,如类别标签和图像路径等。然后,为了确保路径的兼容性,我们将路径转换为UNIX风格,这是因为不同的操作系统可能使用不同的路径分隔符。
if __name__ == '__main__': # 确保该模块被直接运行时才执行以下代码
data_path = abs_path('datasets/VehicleType/vehicle.yaml', path_type='current') # 数据集的yaml的绝对路径
unix_style_path = data_path.replace(os.sep, '/')
# 获取目录路径
directory_path = os.path.dirname(unix_style_path)
# 读取YAML文件,保持原有顺序
with open(data_path, 'r') as file:
data = yaml.load(file, Loader=yaml.FullLoader)
# 修改path项
if 'path' in data:
data['path'] = directory_path
# 将修改后的数据写回YAML文件
with open(data_path, 'w') as file:
yaml.safe_dump(data, file, sort_keys=False)
workers = 1
batch = 8
data_name = "VehicleType"
model = YOLO(abs_path('./weights/yolov5nu.pt', path_type='current'), task='detect') # 加载预训练的YOLOv8模型
# model = YOLO('./weights/yolov5.yaml', task='detect').load('./weights/yolov5nu.pt') # 加载预训练的YOLOv8模型
# Training.
results = model.train( # 开始训练模型
data=data_path, # 指定训练数据的配置文件路径
device='cpu', # 指定使用CPU进行训练
workers=workers, # 指定使用2个工作进程加载数据
imgsz=640, # 指定输入图像的大小为640x640
epochs=100, # 指定训练100个epoch
batch=batch, # 指定每个批次的大小为8
name='train_v5_' + data_name # 指定训练任务的名称
)
model = YOLO(abs_path('./weights/yolov8n.pt'), task='detect') # 加载预训练的YOLOv8模型
results2 = model.train( # 开始训练模型
data=data_path, # 指定训练数据的配置文件路径
device='cpu', # 指定使用CPU进行训练
workers=workers, # 指定使用2个工作进程加载数据
imgsz=640, # 指定输入图像的大小为640x640
epochs=100, # 指定训练100个epoch
batch=batch, # 指定每个批次的大小为8
name='train_v8_' + data_name # 指定训练任务的名称
)
在读取YAML配置文件之后,我们可能需要对其内容进行修改。在这个例子中,我们将配置文件中的path键的值更新为数据集的目录路径。这确保了无论数据集位于何处,YOLO模型都能正确地找到它。最后,我们加载预训练的YOLOv8模型并开始训练过程。我们传递了所有必要的参数到train函数,包括数据集配置、设备类型、工作进程数、图像尺寸、训练周期和批次大小。name参数用于标识训练过程,便于后续分析和比较。
在深度学习中,我们通常通过损失函数下降的曲线来观察模型训练的情况。在训练结束后,我们也可以在logs目录下找到生成对若干训练过程统计图。下图为博主训练舰船检测与识别的损失函数曲线图。从图中可以看出,训练损失(train/box_loss, train/cls_loss, train/df1_loss)和验证损失(val/box_loss, val/cls_loss, val/df1_loss)随着训练周期的增加整体呈下降趋势,这表明模型正逐渐学习到从数据中提取有用特征的能力。特别是在盒子损失(box_loss)图表中,训练和验证损失都稳定下降,显示出模型在定位目标上的性能稳步提升。类别损失(cls_loss)和目标函数损失(df1_loss)同样展现出下降趋势,尽管验证集上的波动较大,但整体下降说明了分类和目标检测的准确性在提高。
值得注意的是,验证损失的波动性可能指示了模型在学习过程中对某些特定样本的过拟合或者数据中可能存在的噪声。验证集上的损失波动通常比训练集更能体现模型在未知数据上的表现,因此对于模型的泛化能力至关重要。接着,我们来看精确度(precision)和召回率(recall)两个指标,它们分别代表了模型检测正确目标的能力和对所有相关目标的识别能力。这两个指标在训练过程中逐渐提高,并且达到了一个较高的水平,这意味着模型不仅能够准确检测出目标,还能够覆盖大部分真实目标。在实际应用中,高精确度避免了过多的误报,而高召回率确保了较少的遗漏,两者的平衡对于实用性的目标检测模型来说至关重要。
最后,平均精度(mAP)是衡量目标检测模型性能的标准指标,其中mAP@0.5和mAP@0.5-0.95分别代表了在IOU(交并比)阈值为0.5和0.5至0.95时模型的表现。在我们的分析中,mAP的数值稳步上升,最终稳定在一个较高的水平,这表明模型在各种IOU阈值下都取得了良好的性能。
F1分数作为评价模型准确性的关键指标,综合反映了精确度和召回率。F1分数的范围从0到1,其值越高,表示模型的精确度和召回率越平衡,同时也越高。我们通过F1-Confidence Curve图来评估了不同置信度阈值下的F1分数,从而全面理解模型性能。从图中,我们可以观察到不同类别的舰船检测性能表现出显著的差异。在曲线图中,每条曲线代表一个特定类别,曲线下方的面积越大,意味着模型对该类别的检测效果越好。一般来说,F1分数在某个置信度阈值下达到峰值,这表示在此阈值下模型取得了精确度和召回率之间最佳的平衡。
我们注意到某些类别如’a’(可能是某类特定舰船)和’buoy’的曲线在置信度较低时就已经达到了较高的F1分数,并且随着置信度的增加,F1分数逐渐下降。这表明模型对这些类别有较好的识别能力,即使在较低的置信度阈值下也能保持较高的精确度和召回率。然而,对于’container’和’cruise’类别,F1分数在置信度增加后呈现出了比较明显的下降,这可能表明模型对这些类别的检测存在一定的不确定性,需要进一步优化。‘fish-b’(可能指的是渔船)类别的F1分数在所有置信度阈值下都相对较低,这可能是因为渔船在大小、形状或者纹理上的多样性,给模型带来了额外的识别挑战。此外,‘warship’类别的F1分数虽然高于’fish-b’,但仍然低于其他类别,可能因为军舰的特殊性使得它们更难以被检测和分类。
F1分数曲线为我们提供了一个关于模型性能的直观视图,所有类别的平均F1分数达到0.76时,对应的置信度阈值为0.321,这一结果强调了在实际应用中选择适当的置信度阈值的重要性。这样的分析不仅帮助我们识别出模型在哪些类别上表现良好,在哪些类别上需要改进,也为我们如何调整训练策略提供了有力的指导。
4.3 YOLOv5、YOLOv6、YOLOv7和YOLOv8对比
(1)实验设计:
本实验旨在评估和比较YOLOv5、YOLOv6、YOLOv7和YOLOv8几种模型在舰船目标检测任务上的性能。为了实现这一目标,博主分别使用使用相同的数据集训练和测试了这四个模型,从而可以进行直接的性能比较。该数据集包含舰船的图像。本文将比较分析四种模型,旨在揭示每种模型的优缺点,探讨它们在工业环境中实际应用的场景选择。
模型 | 图像大小 (像素) | mAPval 50-95 | CPU ONNX 速度 (毫秒) | A100 TensorRT 速度 (毫秒) | 参数数量 (百万) | FLOPs (十亿) |
---|---|---|---|---|---|---|
YOLOv5nu | 640 | 34.3 | 73.6 | 1.06 | 2.6 | 7.7 |
YOLOv8n | 640 | 37.3 | 80.4 | 0.99 | 3.2 | 8.7 |
YOLOv6N | 640 | 37.5 | - | - | 4.7 | 11.4 |
YOLOv7-tiny | 640 | 37.4 | - | - | 6.01 | 13.1 |
(2)度量指标:
- F1-Score:F1-Score是精确率(Precision)和召回率(Recall)的调和平均值。精确率是指模型正确识别的正例与所有识别为正例的案例之比,而召回率是指模型正确识别的正例与所有实际正例之比。F1-Score对于不平衡的数据集或者需要同时考虑精确率和召回率的任务特别重要。
- mAP(Mean Average Precision):mAP是衡量模型在多个类别上平均检测准确度的指标。它计算了模型在所有类别上的平均精度,是目标检测领域中常用的性能度量。
名称 | YOLOv5nu | YOLOv6n | YOLOv7-tiny | YOLOv8n |
---|---|---|---|---|
mAP | 0.781 | 0.773 | 0.674 | 0.778 |
F1-Score | 0.76 | 0.76 | 0.65 | 0.76 |
(3)实验结果分析:
在我们的实验中,我们将详细探讨并对比不同版本的YOLO算法——YOLOv5nu、YOLOv6n、YOLOv7-tiny以及YOLOv8n在相同数据集上的表现。通过两个关键的度量指标:平均精度(mAP)和F1分数(F1-Score),我们可以评估每种模型在舰船检测任务上的性能。
首先,让我们关注mAP值,这是目标检测中评价模型性能的标准指标,它综合了精确度和召回率,在多个置信度阈值下的平均表现。从数据来看,YOLOv5nu以0.781的mAP领先于其他三种模型,紧随其后的是YOLOv8n和YOLOv6n,分别为0.778和0.773。这表明YOLOv5nu和YOLOv8n在目标检测的整体准确性上有着相似且较高的表现,而YOLOv6n的表现略低但仍然接近。相比之下,YOLOv7-tiny的mAP显著低于其他模型,仅为0.674,这可能是因为tiny版本的模型为了减少计算资源的使用而简化了模型结构,从而牺牲了一些检测准确性。
接着,我们来看F1分数,这是精确度和召回率的调和平均,是一个单一指标,能够平衡评价模型的性能,特别是在类别不平衡的数据集中。YOLOv5nu、YOLOv6n和YOLOv8n在F1分数上都达到了0.76,显示出较好的平衡性和一致性。这意味着这三个模型不仅能够准确地检测舰船,还能够覆盖绝大多数的正样本。然而,YOLOv7-tiny的F1分数为0.65,与mAP的结果一致,说明它在精确度和召回率上都有待提高。
总的来说,从这些实验数据中我们可以看出,尽管YOLOv7-tiny在资源限制更严格的环境中可能更有优势,但在需要高精度检测的应用场景中,YOLOv5nu和YOLOv8n更为适合。这些发现不仅为我们提供了不同YOLO版本的直接比较,也为未来的算法选择和优化提供了有价值的参考。此外,这些实验结果强调了在选择目标检测模型时,需要根据具体的应用需求和资源限制来综合考虑模型的选择。
4.4 代码实现
在这一节中,我我们将探讨如何利用YOLOv8模型构建一个舰船检测系统。这个实现主要包括创建主窗口、处理每一帧图像、加载模型等步骤。
在实时舰船检测与识别系统中,结合YOLOv8模型和一系列开源库,如OpenCV、QtFusion和PySide6等,来实现主窗口的展示、摄像头帧的处理以及舰船的检测和标注等功能。
(1)引入必要的库
首先,我们导入了一系列必要的模块,包括处理图像的cv2,构建GUI的PySide6,以及我们自定义的YOLOv8Detector类,用于实际的目标检测。我们的目标是创建一个用户界面,能够展示模型检测的结果,并分析检测过程的实时性能。
import random # 导入random模块,用于生成随机数
import sys # 导入sys模块,用于访问与Python解释器相关的变量和函数
import time # 导入time模块,用于处理时间
from QtFusion.config import QF_Config
import cv2 # 导入OpenCV库,用于处理图像
from QtFusion.widgets import QMainWindow # 从QtFusion库中导入FBaseWindow类,用于创建窗口
from QtFusion.utils import cv_imread, drawRectBox # 从QtFusion库中导入cv_imread和drawRectBox函数,用于读取图像和绘制矩形框
from PySide6 import QtWidgets, QtCore # 导入PySide6库中的QtWidgets和QtCore模块,用于创建GUI
from QtFusion.path import abs_path
from YOLOv8Model import YOLOv8Detector # 从YOLOv8Model模块中导入YOLOv8Detector类,用于加载YOLOv8模型并进行目标检测
QF_Config.set_verbose(False)
上述代码段初始化了我们的应用程序所需的所有前提条件。我们通过random模块为每个检测类别生成随机颜色,以便在结果图像中以不同颜色区分不同的舰船类型。
(2)设置主窗口
在设置主窗口的过程中,定义了一个名为MainWindow的类,MainWindow类负责创建GUI界面,并在其中显示实时检测的结果。它通过QLabel显示图像,并能响应按键事件以便用户交互。个按键事件,使得用户可以通过按Q键来关闭窗口。
class MainWindow(QMainWindow): # 定义MainWindow类,继承自FBaseWindow类
def __init__(self): # 定义构造函数
super().__init__() # 调用父类的构造函数
self.resize(850, 500) # 设置窗口的大小
self.label = QtWidgets.QLabel(self) # 创建一个QLabel对象
self.label.setGeometry(0, 0, 850, 500) # 设置QLabel的位置和大小
def keyPressEvent(self, event): # 定义keyPressEvent函数,用于处理键盘事件
if event.key() == QtCore.Qt.Key.Key_Q: # 如果按下的是Q键
self.close() # 关闭窗口
(3)初始化检测模型和设备
我们实例化了YOLOv8Detector类,并加载了预先训练好的权重文件。这使得我们的模型准备好进行图像中舰船的检测。
cls_name = ["A型", "浮标", "货轮", "游轮", "渔船", "军舰"] # 定义类名列表
colors = [[random.randint(0, 255) for _ in range(3)] for _ in range(len(cls_name))] # 为每个目标类别生成一个随机颜色
model = YOLOv8Detector() # 创建YOLOv8Detector对象
model.load_model(abs_path("weights/ship-yolov8n.pt", path_type="current")) # 加载预训练的YOLOv8模型
(4)主程序部分
在主程序中,我们创建了应用程序的实例和主窗口对象。读取测试图像,并对其进行预处理,使之适用于YOLOv8模型的输入格式。然后,我们执行了模型推理,并记录了推理所需的时间。如果检测到舰船,我们将使用drawRectBox函数在图像上绘制边界框,并将处理后的图像显示在GUI窗口中。
if __name__ == '__main__': # 如果当前模块是主模块
app = QtWidgets.QApplication(sys.argv) # 创建QApplication对象
window = MainWindow() # 创建MainWindow对象
img_path = abs_path("test_media/t3.jpg") # 定义图像文件的路径
image = cv_imread(img_path) # 使用cv_imread函数读取图像
image = cv2.resize(image, (850, 500)) # 将图像大小调整为850x500
pre_img = model.preprocess(image) # 对图像进行预处理
t1 = time.time() # 获取当前时间(开始时间)
pred, superimposed_img = model.predict(pre_img) # 使用模型进行预测
t2 = time.time() # 获取当前时间(结束时间)
use_time = t2 - t1 # 计算预测所用的时间
print("推理时间: %.2f" % use_time) # 打印预测所用的时间
det = pred[0] # 获取预测结果的第一个元素(检测结果)
# 如果有检测信息则进入
if det is not None and len(det):
det_info = model.postprocess(pred) # 对预测结果进行后处理
for info in det_info: # 遍历检测信息
# 获取类别名称、边界框、置信度和类别ID
name, bbox, conf, cls_id = info['class_name'], info['bbox'], info['score'], info['class_id']
label = '%s %.0f%%' % (name, conf * 100) # 创建标签,包含类别名称和置信度
# 画出检测到的目标物
image = drawRectBox(image, bbox, alpha=0.2, addText=label, color=colors[cls_id]) # 在图像上绘制边界框和标签
window.dispImage(window.label, image) # 在窗口的label上显示图像
# 显示窗口
window.show()
# 进入 Qt 应用程序的主循环
sys.exit(app.exec())
通过这段代码,我们展示了如何在Python中从头开始搭建一个完整的目标检测系统。从处理图像数据到实现实时视觉反馈的用户界面,每一步都精心设计以确保最佳的用户体验和检测效果。
5. 舰船检测与识别系统实现
在实现一款实时舰船检测与识别与识别系统时,采用面向对象的设计思路,依赖Python语言和多种开源库如Pyside6、QtFusion、Pytorch等。其中,重要的MainWindow类是系统的主体,负责提供用户界面来控制输入源、进行舰船检测与识别与识别,并展示检测结果。以下将详细介绍其设计思路、架构设计以及整个流程。
5.1 系统设计思路
我们将深入介绍如何构建一个交互式的舰船检测与识别系统。我们的系统设计旨在实现一个用户友好的界面,同时集成强大的媒体处理能力和先进的目标检测模型。为了达成这一目的,我们的设计思路是将界面设计、媒体处理以及模型预测的功能紧密结合在一起,以实现高效的系统运行。
架构设计
核心的MainWindow类不仅作为应用程序的主窗口,更是整个系统的枢纽。在这个类中,我们采用了模块化的设计原则,通过对象组合的方式将处理器和模型整合为一个统一的整体。这样的设计使得各个功能模块能够独立运作,易于维护和扩展。同时,通过使用PySide6框架提供的信号和槽机制,各个模块间能够无缝地进行交互和数据传递,确保了界面的响应性和系统的实时性。在MainWindow类的架构设计中,采用了处理层、界面层、控制层的设计模式。
- 处理层(Processing Layer):是系统的基础,由YOLOv8Detector类承担,它封装了预训练的YOLOv8模型和必要的图像处理方法。这个类的职责是接收原始图像数据,执行目标检测任务,并输出检测结果。它是系统智能识别能力的来源,确保了检测任务的准确性和效率。
- 界面层(UI Layer):是用户与系统交互的前端,由Ui_MainWindow类构建。它提供了一系列的用户交互元素,例如展示检测结果的图像视窗、启动检测的按钮、显示检测统计信息的标签等。界面层的设计注重用户体验,所有的交互元素都被布置得既美观又直观,使用户能够轻松地使用系统,无需深入了解其背后的复杂技术。
- 控制层(Control Layer):作为系统的核心,由MainWindow类的槽函数和其他控制方法构成。它响应用户的操作,指挥媒体处理器和模型按照既定逻辑工作。控制层的设计关键在于确保用户的每一个操作都能得到系统的及时响应,并正确地引导系统执行相应的任务。
通过这样的系统设计,我们的舰船检测与识别系统能够提供高效的目标检测功能,并且保持良好的用户体验。在用户点击按钮后,系统能够迅速地处理图像数据,调用预训练模型进行目标检测,并将结果实时地反馈到界面上。这样的设计使得用户不仅可以获得准确的检测结果,还能享受到流畅和直观的操作体验。
系统流程
以下是舰船检测与识别系统的工作流程:
- 当用户启动应用程序时,系统立即实例化MainWindow类,这个类是整个应用程序的核心,它初始化界面布局、用户交互元素以及后台处理逻辑。从这一刻起,用户便进入了一个直观的操作环境,所有功能都旨在提供无缝的用户体验。
- 用户通过简洁明了的界面可以轻松选择不同的输入源,无论是实时的摄像头视频流、本地视频文件还是单个图像文件。界面设计的直观性让用户即使在没有深入技术背景的情况下也能够便捷地操作系统。选择输入源后,系统调用内置的媒体处理器和相关方法,确保输入数据被正确加载并配置,从而为检测算法的执行奠定基础。
- 在媒体输入源准备就绪后,系统会进入一个持续的帧处理循环。首先是预处理阶段,系统对输入图像进行了一系列必要的处理,比如调整图像尺寸和颜色空间等,以符合YOLOv8模型的输入标准。预处理不仅保证了图像数据能够被模型正确解读,也优化了后续检测的准确性和效率。
- 接下来,在检测与识别阶段,预处理后的图像数据被送入YOLOv8模型进行分析。模型利用其深度学习算法,识别出图像中的舰船目标,并将结果输出,包括目标的位置、类别等信息。系统随即进入界面更新阶段,实时将检测结果反馈到界面上,通过绘制边界框和标注舰船类别,用户可以直观地观察每一帧图像中的检测详情。
- 我们的系统还考虑到了用户的交互需求。用户可以通过界面上的控制按钮执行各种操作,比如保存当前的检测结果,查看关于系统的作者和版本信息,或者使用下拉菜单来过滤和分析特定类别的检测结果。此外,媒体控制功能让用户能够根据需要,随时启动或停止视频播放和图像分析,提供了进一步的操作灵活性。
整个系统设计的每个环节都紧密相连,从用户操作到后台处理,再到结果展示,每一步都经过精心安排。我们的目标是提供一个高效、准确、易于使用的舰船检测平台,无论是对于安全监控还是海洋研究,都能够发挥重要作用。通过这种设计,我们不仅展示了深度学习技术在实际应用中的巨大潜力,也为未来可能的技术进步和系统升级提供了强大的基础。
5.2 登录与账户管理
在我们的交互式舰船检测与识别系统中,用户体验始于一个精心设计的登录界面,它是用户访问系统功能的起点。此登录系统基于PySide6构建,后端采用SQLite数据库,为用户提供了全面的账户管理功能。从账户注册到个性化设置,每个用户都拥有了自己独立的空间,其中可以保存个人的检测结果和偏好设置。这样的设计不仅提高了系统的安全性,也增加了用户操作的便捷性。
在这个系统中,用户首先遇到的是一个直观的账户管理界面。这里,新用户可以轻松完成注册流程,而现有用户则可以通过登录进入主界面。账户管理不仅限于基本的登录功能,用户还可以在此修改密码、更新头像以及注销账户。这些个性化选项让用户能够根据自己的喜好调整系统,进一步提升了使用的舒适度。
一旦进入主界面,用户便能体验到强大的舰船检测与识别功能。系统支持从图片、视频到实时摄像头的多种输入源,用户可以选择最符合需求的方式进行舰船检测。在实时监测的同时,系统能够将检测框、类别及置信度等关键信息即时显示在屏幕上,并记录下来。这不仅为用户提供了实时的视觉反馈,也为后期的分析和报告制作提供了数据基础。
此外,我们的系统还能导入和运用各种深度学习模型,实现对多种物体的识别和检测。这使得系统不仅限于舰船检测,还能根据用户的需求进行扩展,以识别更多类型的物体。这一灵活性是我们设计中的一个亮点,它为未来可能的功能扩展打下了基础。
总而言之,交互式舰船检测与识别系统通过整合强大的检测功能和精细的用户账户管理,提供了一个全面、安全且用户友好的解决方案。用户不仅能享受到高效准确的舰船检测,还能得到个性化的用户体验,这些都使得我们的系统在现实应用中更加突出和实用。
下载链接
若您想获得博文中涉及的实现完整全部资源文件(包括测试图片、视频,py, UI文件,训练数据集、训练代码、界面代码等),这里已打包上传至博主的面包多平台,见可参考博客与视频,已将所有涉及的文件同时打包到里面,点击即可运行,完整文件截图如下:
完整资源中包含数据集及训练代码,环境配置与界面中文字、图片、logo等的修改方法请见视频,项目完整文件下载请见演示与介绍视频的简介处给出:➷➷➷
演示与介绍视频:https://www.bilibili.com/video/BV13W421A7iS/
在文件夹下的资源显示如下,下面的链接中也给出了Python的离线依赖包,读者可在正确安装Anaconda和Pycharm软件后,复制离线依赖包至项目目录下进行安装,另外有详细安装教程:(1)Pycharm软件安装教程;(2)Anaconda软件安装教程;(3)Python环境配置教程;
离线依赖安装教程:https://www.bilibili.com/video/BV1hv421C7g8/
离线依赖库下载链接:https://pan.baidu.com/s/1y6vqa9CtRmC72SQYPh1ZCg?pwd=33z5 (提取码:33z5)
6. 总结与展望
在本博客中,我们详细介绍了一个基于YOLOv8模型的舰船检测与识别系统。系统以模块化的方式设计,充分采用了合理的架构设计,带来良好的可维护性和可扩展性。其用户界面友好,能够提供实时的舰船检测与识别和识别结果展示,同时支持用户账户管理,以便于保存和管理检测结果和设置。
该系统支持摄像头、视频、图像和批量文件等多种输入源,能够满足用户在不同场景下的需求。在后面可以添加更多预训练模型,增加检测和识别的种类;优化用户界面,增强个性化设置;并积极聆听用户反馈,以期不断改进系统,以更好地满足用户的需求。
结束语
由于博主能力有限,博文中提及的方法即使经过试验,也难免会有疏漏之处。希望您能热心指出其中的错误,以便下次修改时能以一个更完美更严谨的样子,呈现在大家面前。同时如果有更好的实现方法也请您不吝赐教。
Jocher, G., Stoken, A., Borovec, J., NanoCode012, L., Kwon, Y., Michael, L., … & Fang, J. (2020). YOLOv5: Towards Automatic Object Detection. arXiv preprint arXiv:1506.02640. ↩︎
Wang, Q., Teng, Z., Xing, J., Gao, J., Hu, W., & Maybank, S. (2021). YOLOv6: A Single-Stage Object Detection Framework for Industrial Applications. arXiv:2106.09214. ↩︎
Wang, C.-Y., Bochkovskiy, A., & Liao, H.-Y.M. (2021). Scaled-YOLOv4: Scaling Cross Stage Partial Network. arXiv:2011.08036. ↩︎
Zhang, S., Wen, L., Bian, X., Lei, Z., & Li, S.Z. (2021). YOLOv8: An Integration of Deep and Shallow Networks for Real-Time Object Detection. arXiv preprint arXiv:2101.05022. ↩︎
Li, K., Wang, G., & Xu, L. (2019). Improving Small Object Detection in Remote Sensing Images with Attentional GAN. Remote Sensing, 11(4), 432. ↩︎
Peng, J., Wang, C., Wan, F., Wu, Y., Liu, J., & Mei, T. (2020). DeepSea: A Deep Learning Framework for Fish Detection in Underwater Images. ICME. ↩︎
雷帮军,余翱,余快.基于YOLOv8s改进的小目标检测算法[J/OL].无线电工程,1-16[2024-01-08]. ↩︎ ↩︎ ↩︎