目标检测文献阅读-DETR：使用Transformer进行端到端目标检测

摘要

Abstract

1 引言

2 DETR结构

2.1 Backbone

2.2 Encoder

2.3 Decoder

2.4 FFN

3 目标检测集合预测损失

3.1 二分图匹配损失

3.2 损失函数

总结

摘要

本周阅读的论文题目是《End-to-End Object Detection with Transformers》(使用Transformer进行端到端目标检测)。目前大多数目标检测方法都是两阶段的(例如R-CNN系列)，需要先生成候选区域再进行分类和回归，就算是单阶段(例如YOLO系列)，最后往往也要进行NMS后处理步骤来去除预测框，而本文中提出了一种将目标检测视为直接的集合预测问题的新方法DEtection TRansformer，即DETR，是基于集合的全局损失，该损失通过二分匹配和Transformer编码器-解码器体系结构来强制进行唯一预测，从而能够进行并行处理，只会输出一个预测框。并且DETR结构灵活简单，易于实施，可以轻松扩展到其他领域，例如全景分割。

Abstract

This week's paper is titled "End-to-End Object Detection with Transformers." At present, most object detection methods are two-stage (e.g., R-CNN series), which need to be formed into candidate regions and then classified and regressed, even if they are single-stage (e.g., YOLO series), and finally NMS post-processing steps are often carried out to remove the prediction box, and this paper proposes a new method that treats object detection as a direct ensemble prediction problem, DEtection TRansformer, i.e., DETR, which is based on the global loss of sets. This loss forces a unique prediction through binary matching and a Transformer encoder-decoder architecture, enabling parallel processing with only one prediction box output. And the DETR structure is flexible and simple, easy to implement, and can be easily extended to other fields, such as panoramic segmentation.

文献链接🔗：End-to-End Object Detection with Transformers

1 引言

目标检测的目标是预测每个感兴趣对象的一组边界框和类别标签。而在本文之前，现代检测器通过在大量proposal、anchor 、窗口中心上定义替代回归和分类问题，以间接方式解决预测任务，例如R-CNN系列、YOLO系列等，导致重复的框太多，需要频繁进行复杂的后处理步骤，影响了目标检测的速度。

而本文中将目标检测任务直接看成是集合预测的问题，从而简化了训练过程。DETR采用基于Transformer的编码器-解码器架构，Transformer的自注意机制明确地对序列中元素之间的所有成对相互作用进行了建模，使这些体系结构特别适合于集合预测的特定约束，例如删除重复的预测。

如下图，DETR通过将公共CNN与Transformer架构相结合，一次预测所有对象，并使用一组损失函数进行端到端训练，直接并行预测并行最终检测集。在训练期间，二分匹配唯一地分配具有地面实况框的预测，而没有匹配的预测应该产生一个“no object”类预测。

DETR主要特征有：

Transformer (非自回归)并行解码：在解码器的部分进行并行的出框；
全局的二分匹配损失：在预测对象和真实对象之间执行二分匹配。

2 DETR结构

DETR的模型架构非常简单，使得它能够在几乎所有的深度学习框架下都可以实现，只要有CNN和Transformer就可以了。总体框架如下图，可以拆分为backbone、encoder、decoder和prediction heads四个部分：

Backbone：CNN backbone学习图像的2D特征；
Positional Encoding：将2D特征展平，并对其使用位置编码(positional encoding)；
Encoder：经过Transformer的encoder；
Decoder：encoder的输出+object queries作为Transformer的decoder输入；
Prediction Heads：将decoder的每个输出都送到FFN去输出检测结果。

2.1 Backbone

backebone就是一个传统的CNN模型，本文中DETR使用Imagenet预训练好的Resnet，作用是抽取图片的特征信息。

通常假设Backbone的输入初始图像 $eq?x_%7Bimg%7D%5Cin%20%5Cmathbb%7BR%7D%5E%7B3%5Ctimes%20H_0%20%5Ctimes%20W_0%20%7D$ (即具有3个颜色通道，高和宽分别为 $eq?H_0$ 和 $eq?W_0$ )，则输出通道 $eq?f%5Cin%20%5Cmathbb%7BR%7D%5E%7BC%5Ctimes%20H%20%5Ctimes%20W%20%7D$ ，通常 $eq?C%3D2048$ 、 $eq?H%3D%5Cfrac%7BH_0%7D%7B32%7D$ 、 $eq?W%3D%5Cfrac%7BW_0%7D%7B32%7D$ (图像高和宽都变为了1/32)。

self.backbone = nn.Sequential(*list(resnet50(pretrained=True).children())[:-2])

x = self.backbone(inputs)
H, W = x.shape[-2:]

2.2 Encoder

经过Backbone后，由于输出特征图 $eq?f$ 的 $eq?C%3D2048$ 是每个 token 的维度，还是比较大，并且encoder的输入为序列，所以先经过一个 $eq?1%20%5Ctimes%201$ 的卷积进行降维到更小的维度 $eq?d$ ，得到一个新的特征映射 $eq?z_0%5Cin%20%5Cmathbb%7BR%7D%5E%7Bd%5Ctimes%20H%20%5Ctimes%20W%20%7D$ ，然后再输入encoder会更好。

self.conv = nn.Conv2d(2048, hidden_dim, 1)  # 1×1卷积层将2048维特征降到256维

x = self.backbone(inputs)
h = self.conv(x)
H, W = h.shape[-2:]

此时encoder的self-attention在特征图上进行全局分析，因为最后一个特征图对于大物体比较友好，那么在上面进行self-attention会便于网络更好的提取不同位置不同大目标之间的相互关系的联系。所以DETR在大目标上效果比Faster R-CNN好就比较容易理解到了。

self.transformer = nn.Transformer(hidden_dim, nheads, num_encoder_layers, num_decoder_layers)

由于Transformer架构是置换不变的，所以本文中用添加到每个注意层输入的固定位置编码对其进行补充。为了体现图像在 $eq?x$ 和 $eq?y$ 维度上的信息，本文中分别计算了两个维度的位置编码，然后cat 到一起：

self.row_embed = nn.Parameter(torch.rand(50, hidden_dim // 2))
self.col_embed = nn.Parameter(torch.rand(50, hidden_dim // 2))

pos = torch.cat([self.col_embed[:W].unsqueeze(0).repeat(H, 1, 1),self.row_embed[:H].unsqueeze(1).repeat(1, W, 1),], dim=-1).flatten(0, 1).unsqueeze(1)
h = self.transformer(pos + h.flatten(2).permute(2, 0, 1), self.query_pos.unsqueeze(1))

2.3 Decoder

decoder同样遵循Transformer的标准架构，使用多头注意力机制和encoder-decoder注意机制转换大小为 $eq?d$ 的 $eq?N$ 个嵌入。与原始转换器的不同之处在于，本文中DETR在每个encoder层并行解码 $eq?N$ 个对象。由于encoder也是排列不变的，因此 $eq?N$ 个输入嵌入必须不同才能产生不同的结果。这些输入嵌入是学习到的位置编码，即查询对象，与encoder类似，本文中将它们添加到每个注意力层的输入中。 $eq?N$ 个查询对象由encoder转换为输出嵌入，然后通过FFN将它们独立解码为框坐标和类标签，从而产生 $eq?N$ 个最终预测。在这些嵌入上使用self-attention和encoder-decoder注意力，该模型使用它们之间的成对关系对所有对象进行全局推理，同时能够将整个图像用作上下文。

self.query_pos = nn.Parameter(torch.rand(100, hidden_dim))  # 查询对象

2.4 FFN

最后，FFN是由具有ReLU激活函数和隐藏维数 $eq?d$ 的3层感知器和一个线性投影层来计算的，或者说就是 $eq?1%20%5Ctimes%201$ 的卷积。FFN预测框归一化的中心坐标、输入图形框的高度和宽度，然后使用softmax函数激活获得预测类标签。

self.linear_class = nn.Linear(hidden_dim, num_classes + 1)  # 类别FFN
self.linear_bbox = nn.Linear(hidden_dim, 4)  # 回归FFN

本文中DETR主体代码如下：

import torch
from torch import nn
from torchvision.models import resnet50

class DETR(nn.Module):
    def __init__(self, num_classes, hidden_dim, nheads,
        num_encoder_layers, num_decoder_layers):
        super().__init__()
        # We take only convolutional layers from ResNet-50 model
        self.backbone = nn.Sequential(*list(resnet50(pretrained=True).children())[:-2])
        self.conv = nn.Conv2d(2048, hidden_dim, 1) # 1×1卷积层将2048维特征降到256维
        self.transformer = nn.Transformer(hidden_dim, nheads, num_encoder_layers, num_decoder_layers)
        self.linear_class = nn.Linear(hidden_dim, num_classes + 1) # 类别FFN
        self.linear_bbox = nn.Linear(hidden_dim, 4)                # 回归FFN
        self.query_pos = nn.Parameter(torch.rand(100, hidden_dim)) # object query
        # 下面两个是位置编码
        self.row_embed = nn.Parameter(torch.rand(50, hidden_dim // 2))
        self.col_embed = nn.Parameter(torch.rand(50, hidden_dim // 2))

    def forward(self, inputs):
        x = self.backbone(inputs)
        h = self.conv(x)
        H, W = h.shape[-2:]
        pos = torch.cat([self.col_embed[:W].unsqueeze(0).repeat(H, 1, 1),
       					 self.row_embed[:H].unsqueeze(1).repeat(1, W, 1),
       					 ], dim=-1).flatten(0, 1).unsqueeze(1) # 位置编码
       					 
        h = self.transformer(pos + h.flatten(2).permute(2, 0, 1),self.query_pos.unsqueeze(1))
        return self.linear_class(h), self.linear_bbox(h).sigmoid()


detr = DETR(num_classes=91, hidden_dim=256, nheads=8, num_encoder_layers=6, num_decoder_layers=6)
detr.eval()
inputs = torch.randn(1, 3, 800, 1200)
logits, bboxes = detr(inputs)

3 目标检测集合预测损失

DETR在一次通过解码器的过程中推断出 $eq?N$ 个固定大小的预测集(本文中 $eq?N$ 为100)，可以知道 $eq?N$ 为明显大于图像中感兴趣对象的实际数量的，那预测出来的框怎么知道对应的是哪一个GT (Ground Truth)框呢，即如何来计算损失？

3.1 二分图匹配损失

首先，要将GT也扩展为 $eq?N$ 个检测框，用 $eq?y$ ( $eq?y$ 大小为 $eq?N$ ，且用一个额外的特殊类标签ϕ来表示“no object”)来代表GT的集合，而 $eq?%5Chat%7By%7D%3D%5Cleft%20%5C%7B%20%5Chat%7By%7D%20%5Cright%20%5C%7D%5EN_%7Bi%3D1%7D$ 代表 $eq?N$ 个预测的集合。这样两个集合的元素数量都为 $eq?N$ ，就可以做一个配对的操作，让预测集合的元素都能找到GT集合里的一个配对元素，每个预测集合的元素找到的GT集合里的元素都是不同的，也就是一一对应。

这样的组合可以有 $eq?N%21$ 种，所有的组合记作 $eq?%5Cvarsigma_N$ ，然后搜素具有最小损失的 $eq?N$ 个元素 $eq?%5Csigma%20%5Cin%20%5Cvarsigma_N$ 的置换：

其中， $eq?%5Cpounds%20_%7Bmatch%7D%28y_i%2C%5Chat%7By%7D_%7B%5Csigma%20%28i%29%7D%29$ 是GT $eq?y_%7Bi%7D$ 与索引为 $eq?%5Csigma%20%28i%29$ 的预测之间的成对匹配损失：

其中：

$eq?%5Cmathbb%7BI%7D$ 是示1符号，后面括号的内容为真时取值1，否则取值0；
$eq?i$ 表示GT中的第 $eq?i$ 个元素；
$eq?c_i$ 表示GT中的第 $eq?i$ 个类；
$eq?b_i$ 表示GT中的第 $eq?i$ 个边界框；
$eq?%5Csigma%20%28i%29$ 是某个组合中GT第 $eq?i$ 个元素对应的预测中的索引；
$eq?%5Chat%7Bp%7D_%7B%5Csigma%20%28i%29%7D$ 表示预测中的第 $eq?%5Csigma%20%28i%29$ 个结果；
$eq?%5Chat%7Bp%7D_%7B%5Csigma%20%28i%29%7D%28c_i%29$ 表示预测中第 $eq?%5Csigma%20%28i%29$ 个结果中 $eq?c_i$ 的概率；
$eq?%5Chat%7Bb%7D_%7B%5Csigma%20%28i%29%7D$ 表示预测中的第 $eq?%5Csigma%20%28i%29$ 个边界框。

对于 $eq?%5Cpounds%20_%7Bbox%7D$ ，本文中由于是直接预测边界框，如果像其他方法中直接计算 $eq?L_1$ 损失，就会导致对于大的框和小的框的惩罚力度不一致，所以文章在使用 $eq?L_1$ 损失的同时，也使用了尺度不变的IoU 损失 $eq?%5Cpounds%20_%7Biou%7D$ ：

则有 $eq?%5Cpounds%20_%7Bbox%7D$ ：

其中， $eq?%5Clambda%20_%7Biou%7D$ 和 $eq?%5Clambda%20_%7BL_i%7D$ 是超参数。

由此，本文中通过采用匈牙利算法来进行二分图匹配，即对预测集合和真实集合的元素进行一一对应，使得匹配损失最小。

3.2 损失函数

然后，就是计算损失函数了，也就是计算上一步得到的所有匹配对之间的匈牙利损失。本文中将损失函数定义为与常见目标检测器相似的形式，即一个用于类别预测的负对数似然和一个边框损失的线性组合：

其中， $eq?%5Chat%7B%5Csigma%20%7D$ 是匹配损失中计算得到的最优分配。

与 $eq?%5Cpounds%20_%7Bmatch%7D$ 区别是使用了 $eq?log$ ，目的是在计算训练模型的损失函数时需要得到准确的结果，ϕ就是ϕ，而不要似有似无、相近类似，这样会干扰预测的准确性。而在 $eq?%5Cpounds%20_%7Bmatch%7D$ 不使用 $eq?log$ 则不管ϕ 的预测结果，并且如果使用 $eq?log$ 也会增大计算量。

可以得到DETR的训练流程如下：

CNN提取特征：经过CNN提取一部分的特征得到对应的特征图，并将得到的特征进行拉直处理形成token；
将拉直之后的token添加位置编码送入encoder的结构部分，encoder作用是进一步学习全局信息，为接下来的decoder出预测框做铺垫；
decoder生成框的输出，当有了图像特征之后，还会有一个查询对象(限定了要出多少预测框)，通过查询和特征在decoder里进行自注意力操作，得到输出的框(本文中预测框限定为100，无论是什么图片都会预测100个框)；
计算100个预测框和2个GT框的二分图匹配损失，决定100个预测框哪两个是独一无二对应到红黄色的GT框，匹配的框去算目标检测的loss。

而在DETR的推理中，与训练流程的1、2、3一致，第4步中不需要计算损失，直接在最后使用阈值保留输出中置信度比较大(>0.7的)，而置信度小于0.7的当做背景物体。