摘要

协同3D对象检测利用多个代理之间的信息交换，以在存在诸如遮挡之类的传感器损伤的情况下提高对象检测的准确性。然而，在实践中，由于定位不完善而导致的姿态估计误差会导致空间消息错位，并显著降低协作性能。为了减轻姿态误差的不利影响，我们提出了Align，这是一种新的混合协作框架，对未知的姿态误差具有鲁棒性。所提出的解决方案依赖于一种新的代理-对象姿态图建模来增强协作代理之间的姿态一致性。此外，我们采用多尺度数据融合策略来聚合多个空间分辨率的中间特征。与之前需要地面实况姿态进行训练监督的工作相比，我们提出的CoAlign更实用，因为它在训练中不需要任何地面实况姿态监督，也没有对姿态误差做出具体假设。在多个数据集上对所提出的方法进行了广泛的评估，证明CoAlign显著降低了相对定位误差，并在存在姿态误差时实现了最先进的检测性能。代码可供研究界使用，网址为https://github.com/yifanlu0227/CoAlign.

引言

为了相互共享有效信息，多个代理需要精确的姿势来同步他们的个人致的空间坐标系中的数据，这是协作的基础。然而，每个代理的定位模块估计的6个DoF姿态在实践中并不完美，导致了所需的相对姿态误差。这种相对姿态误差将从根本上降低协作质量。为了解决这个问题，以前的工作考虑了各种方法来提高姿态鲁棒性[15]，[16]，[17]，[18]。例如，[17]设计了姿态回归模块来学习姿态校正；[18]使用3D点的语义标签来寻找逐点对应关系。然而，这些方法需要训练数据中的真实姿态。尽管训练数据中的姿势错误可以离线纠正，但这种标记过程可能代价高昂且不完美。
受此限制，我们提出了一种新的混合协作框架CoAlign，它使多个代理能够共享中间特征和单代理检测结果。CoAlign可以在训练阶段处理任意姿势错误，而无需任何精确的姿势监督。为了实现这一点，核心思想是利用新的主体-对象姿态图优化来对齐场景中主体和检测到的对象之间的相对姿态关系，提高姿态一致性。这里，姿势一致性意味着从多个代理的角度来看，对象的姿势应该是一致的。由于我们的agent对象姿态图在优化过程中不使用任何训练参数，因此该方法具有较强的泛化能力，能够适应任意水平的姿态误差。为了有效缓解位姿误差的影响，我们进一步考虑了一种多尺度中间融合策略，该策略在多个空间尺度上全面聚合协作信息。
我们的贡献：

• 我们提出了CoAlign，这是一种新的基于多智能体协作激光雷达的3D检测框架，可处理训练和测试阶段的未知姿态误差；
• 我们提出了一种新的agent对象姿态图建模和优化方法，通过提高相对姿态的一致性来校正多个agent之间的相对姿态；
• 我们进行了大量的实验来验证CoAlign可以大大降低相对姿态误差，并实现更准确、更稳健的3D检测性能。

方法

(特征编码->传输特征->融合->解码)

我们的策略

(特征编码->校正->传输特征->融合->解码)

CoAlign概述。在通信之前，每个代理使用输入原始观测来i）预测具有不确定性估计的边界框ii）生成中间特征。代理打包i）和ii），并测量姿势并向其他代理广播。通过聚合传入消息，每个代理构建代理对象姿势图，并局部优化相对姿势。校正后的姿态用于将特征图扭曲到自我坐标，然后通过多尺度中间融合模块。最后，将融合的特征解码为最终的检测输出。

• encoder: 我们可以利用现成的设计，如PointPillars[1]，为第i个代理生成中间特征Fi和估计的边界框Bi。请注意，对于每个边界框，我们还估计其不确定性.
• correct: 组合所有损失函数，训练单体检测与不确定性估计的总损失为Ltotal=Lcls+αregLreg+αcenter（Lx+Ly）+αθLθ，其中Lcls是对象分类的交叉熵损失，Lreg是盒参数回归的平滑L1损失，αreg、αcenter、αθ是用于平衡的超参数
• fusion: 在空间对齐之后，每个代理聚合其他代理的协作信息，并获得更具信息性的特征。然而，即使在相对姿态校正之后，特征图之间的错位也可能仍然存在。为了进一步减轻姿态噪声的影响，我们采用了一种多尺度融合方法，该方法融合了多个空间尺度上的特征。较细尺度的特征可以提供更详细的几何和语义信息，而较粗尺度的特征对姿态误差不太敏感。

实验

结论

本文提出了一种新的用于鲁棒三维对象检测的混合协作框架CoAlign。所提出的代理对象姿态图优化使CoAlign能够在没有任何精确姿态监督的情况下处理任意姿态误差。CoAlign不仅可以显著降低相对姿态噪声，而且可以提高检测能力和鲁棒性。此外，CoAlign不依赖于某些数据模态，也可以应用于基于相机的3D检测。在未来的工作中，我们将在多模式数据上扩展我们的方法。