经典检测器有一个共同点，它们严重依赖手工制作的组件，如非极大值抑制（ NMS ）。因为这些检测算法通常输出多个候选边界框，每个边界框对应于可能存在对象的区域。然而，这些候选框之间往往存在重叠或冗余，需要进行筛选和优化。

尽管 NMS 是一种有用的对象检测算法，但它确实有一些局限性。有一个问题是，他 可能会无意中删除与 得分最高的边界框明显重叠的边界框 ， 尤其是在对象密集或大小相似的区域 。此外， NMS 的有效性可能会受到所选IoU 阈值的影响，这可能会导致检测结果的显著变化。在稀疏场景中，它可能会成为经典检测器的性能瓶颈。

检测转换器 DETR 提出了一种创新的基于转换器的对象检测器，该检测器利用了基于转换器的编码器 - 解码器框架。DETR 不依赖 NMS 的手动组件，而是使用匈牙利损失来预测一对一的对象集 ，带来端到端优化。NMS 在拥挤场景中表现不佳，因为它只根据 IoU 和类别简单信息对对象进行集群， 可能会将大小相 似的不同对象分组为一组 。相反， DETR 利用查询之间的交互来利用更复杂的信息并区分它们之间的关系。与NMS 相比，这种方法使 DETR 预测一对一对象集的策略更加合理， 从而在拥挤场景中比使用 NMS 的经典检测器具有更好的性能。

尽管 DETR 引起了研究界的极大兴趣，但它也存在许多问题。首先，应该注意的是， DETR 的收敛速度很慢，需要500 个训练 epoch 才能获得可接受的性能。然而， DEYO 算法从循序渐进的思想中获得了灵感，

为改进 DETR 提供了一个新的视角。 DEYO 使用低成本和高质量 YOLO 预测作为第二阶段 DETR-like 模型 的输入，以降低 DETR-like 模式预测一对一对象集的难度。 DEYO 结合了经典检测和基于查询的检测器各自的优势，从而提高了整体性能。同时， DEYO 也发现了一对一标签分配的局限性 。由于 DETR 使用一对一匹配，因此采用了建立分数差距的策略来抑制冗余的边界框 。这意味着 解码器需要对查询之间的关系 进行建模，并区分最佳和冗余边界框 。 DEYO 的实验表明，解码器在处理大量几乎相似的冗余边界框方面非常弱。随着proposal 查询的拥塞增加，性能逐渐降低，甚至在不使用 NMS 时训练崩溃。如图 3 所示，随着IoU 阈值的升高，这意味着拥塞增加的查询被输入解码器，性能也会下降，并且当不使用 NMS时，AP 会骤降至 0 。我们发现，在后处理中使用具有低 IoU 阈值的 NMS 并不能缓解这种性能下降。这表明影响最终性能的不仅仅是冗余边界框，但是丰富的bounding box 也严重阻碍了探测器在训练过程中的训练和优化。上述现象表明，基于查询的检测器的过滤能力有限，其对边界框的抑制策略不好，并且对查询初始化有严格要求，这在一定程度上限制了基于查询检测器的设计。DEYO 简单地通过使用 NMS 过 滤掉冗余的边界框来解决这个问题 ，但如图 9 所示，由于 NMS-IoU 阈值的降低，第一阶段的有效信息损失更大，这不仅破坏了DETR 的端到端优势，还限制了第一阶段的高效信息传输。就像经典的探测器一样，这个问题在拥挤的场景中会加剧。那么，有没有一种方法可以减少信息丢失，实现更优雅，并避免冗余边界框引起的优化？DEYOv2 通过引入 Rank 特征和贪婪匹配 来解决上述问题。 Rank 特征是指通过 置信度对边界框进行排序并通过嵌入进行编码后的 Rank 特征 。将其添加到解码器的查询中，可以使检测器更容易地学习到非极大值抑制策略，从而使检测器面临拥挤的环境。边界框仍然可以保持良好的过滤 效果。贪婪匹配可以不使用额外的标签，使用 GT 作为基准，对每个边界框进行聚类和监督，并引导模型 从每个类中选择具有最大 Rank 的边界框来保留 。 Rank 特征和贪婪匹配启用 DEYOv2 在从一对多标签分配到一对一标签分配的过度过程中摆脱对NMS 的依赖，它解决了 Transformer 编码器在过滤冗余边界框以实现端到端优化时遇到的优化问题。

在本文中，我们提出了一种称为 DEYOv2 的三阶段对象检测网络的新范式，据我们所知，它是第一个完全端到端的检测器，它结合了经典检测器和基于查询的对象检测器的各自优势。因此，我们的DEYOv2成为端到端目标检测器的新技术。