单目标检测
单目标检测（Single Object Detection）是人工智能领域中的一个重要研究方向，旨在通过计算机视觉技术，识别和定位图像中的特定目标物体。单目标检测可以应用于各种场景，如智能监控、自动驾驶、医疗影像分析等。
简单来说，单目标检测就是在确定一个目标在图片中的位置：
本文将以信号灯检测为例，介绍单目标检测的方法
环境准备
这个案例需要安装以下两个库：
pip install paddlepaddle-gpu
pip install lxml数据集准备
本文采用如下数据集：红绿灯检测_练习_训练集(非比赛数据)_数据集-飞桨AI Studio星河社区 (baidu.com)
这个数据集共有2000张信号灯的照片，其中1000张绿灯，1000张红灯。每张照片都对应着一个xml文件，标注着信号灯在图片中的位置：
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<annotation>
<folder>Images</folder>
<filename>green_0.jpg</filename>
<source>
<database>Unknown</database>
</source>
<size>
<width>424</width>
<height>240</height>
<depth>3</depth>
</size>
<segmented>0</segmented>
<object>
<name>green</name>
<pose>Unspecified</pose>
<truncated>0</truncated>
<difficult>0</difficult>
<occluded>0</occluded>
<bndbox>
<xmin>247</xmin>
<ymin>147</ymin>
<xmax>301</xmax>
<ymax>190</ymax>
</bndbox>
</object>
</annotation>
这里面，<width>和<height>标签分别定义了宽和高，<name>定义了样本的类别（red或者green），<bndbox>里的标签则是定义了信号灯的位置（矩形框）
接下来我们编写dataset.py，用于定义数据集类：
import paddle
import glob
from lxml import etree
from PIL import Image
import numpy as np
# 定义一个字典，将颜色名称映射到ID
name_to_id = {'red': 0, 'green': 1}
# 将绝对坐标转换为相对坐标
def to_labels(path):
# 读取XML文件内容
text = open(f'{path}').read().encode('utf8')
# 解析XML内容
xml = etree.HTML(text)
# 提取图像的宽度和高度
width = int(xml.xpath('//size/width/text()')[0])
height = int(xml.xpath('//size/height/text()')[0])
# 提取边界框的坐标
xmin = int(xml.xpath('//bndbox/xmin/text()')[0])
xmax = int(xml.xpath('//bndbox/xmax/text()')[0])
ymin = int(xml.xpath('//bndbox/ymin/text()')[0])
ymax = int(xml.xpath('//bndbox/ymax/text()')[0])
# 将绝对坐标转换为相对坐标
return xmin / width, ymin / height, xmax / width, ymax / height
# 定义一个PaddlePaddle数据集类
class Dataset(paddle.io.Dataset):
def __init__(self, pos='training_data'):
super().__init__() # 调用父类构造函数
# 查找指定目录下的所有.jpg图片和.xml标签文件
self.imgs = glob.glob(f'{pos}/*.jpg')
self.labels = glob.glob(f'{pos}/*.xml')
def __getitem__(self, idx):
# 根据索引获取图片和标签
img = self.imgs[idx]
label = to_labels(self.labels[idx])
# 打开图片并转换为RGB模式
pil_img = Image.open(img).convert('RGB')
# 将PIL图片转换为numpy数组，并转换为float32类型
# 同时将通道顺序从HWC转换为CHW（PaddlePaddle默认输入格式）
t = paddle.to_tensor(np.array(pil_img, dtype=np.float32).transpose((2, 0, 1)))
# 返回图片张量和标签张量
return t, paddle.to_tensor(label[:4])
def __len__(self):
# 返回数据集中图片的数量
return len(self.imgs)训练脚本
单目标检测可以看作一个回归问题，输出4个值，用于确定目标的坐标，因此我们可以使用resnet，并指定其类别数量为4（即输出4个值），并采用MSE损失函数（因为这是回归问题），据此，可以写出训练脚本的代码：
import paddle
from dataset import Dataset
# 初始化Dataset实例，设置数据位置为'training_data'
dataset = Dataset(pos='training_data')
# 使用ResNet18网络结构，并设置输出类别数为4
net = paddle.vision.resnet18(num_classes=4)
# 将网络封装为PaddlePaddle的Model对象
model = paddle.Model(net)
# 准备模型训练，包括优化器（Adam）和损失函数（均方误差损失）
model.prepare(
paddle.optimizer.Adam(parameters=model.parameters()),
paddle.nn.MSELoss(),
)
# 训练模型，设置训练轮数为160，批处理大小为16
model.fit(dataset, epochs=160, batch_size=16, verbose=1)
# 保存模型到'output/model'路径
model.save('output/model')可以看到，训练脚本还是非常简单的。
简单使用
使用脚本也很简单：
import matplotlib.pyplot as plt
import matplotlib.patches as patches
import numpy as np
from PIL import Image
import paddle
# 图片路径
img_path = 'testing_data/red_1003.jpg'
# 打开图片并转换为RGB格式
pil_img = Image.open(img_path).convert('RGB')
# 将PIL图片转换为Paddle Tensor，并调整通道顺序
t = paddle.to_tensor([np.array(pil_img, dtype=np.float32).transpose((2, 0, 1))])
# 加载ResNet18模型，并设置为4个类别
net = paddle.vision.resnet18(num_classes=4)
model = paddle.Model(net)
# 加载训练好的模型权重
model.load('output/model')
# 预测图片
pred = model.predict_batch(t)[0][0]
print(f'预测结果：{pred}')
# 根据预测结果计算边界框坐标
xmin = float(pred[0]) * 424
ymin = float(pred[1]) * 240
xmax = float(pred[2]) * 424
ymax = float(pred[3]) * 240
# 显示原始图片
plt.imshow(np.array(t[0], dtype=np.int32).transpose((1, 2, 0)))
# 定义多边形的顶点坐标（这里是预测的边界框）
vertices = np.array([[xmin, ymin], [xmin, ymax], [xmax, ymax], [xmax, ymin]])
# 创建一个多边形对象，用于绘制边界框
polygon = patches.Polygon(vertices, closed=True, edgecolor='black', facecolor='none')
# 将多边形添加到当前坐标轴上
plt.gca().add_patch(polygon)
# 显示图片和边界框
plt.show()输出：
