问题引入
传统方案在处理线性地图元素时忽略了其结构性约束,建图距离太近
方法
简介
-
结构引导BEV特征提取
-
一种新的层次稀疏地图表示方法
-
设计渐进解码机制和基于此表示的监督策略
组件
结构引导BEV表征
-
通过车载摄像头捕捉的环绕视图图像,利用ResNet进行图像特征提取。
-
采用BEVFormer获取position-aware的BEV feature,使用deformable-attention实现BEV查询与图像特征的空间交互。
-
同时使用多个MLP转换instance-aware的BEV feature
-
通过linear layer执行融合过程,从而校正BEV特征的错位,产生增强丰富度和准确性的混合BEV特征。
评论:image view上面的信息可以加入freespace分割头,相较于BEV更侧重其语义信息,就是本文所谓instance-aware的feature,bev通过bevformer来精确查询bev的位置信息。
如何保证两者的各自监督的有效性?消融实验的结果并没有提到。
层次稀疏地图表示(HSMR)
-
稀疏地图表示:ScalableMap引入了一种稀疏地图表示的概念,旨在以一种精简但准确的方式来表示地图元素。这是为了避免在地图构建过程中引入过多的冗余信息。
-
层次结构:HSMR进一步引入了层次结构,将地图表示分为不同的密度级别。即,它使用低密度地图作为对高密度地图的抽象表示。
-
动态密度调整:该方法不同于传统同时初始化大量查询并迭代更新的方法。相反,它采用了一种动态调整密度的策略,通过在相邻顶点之间引入新查询,逐渐增加地图的密度。
渐进解码机制
-
不同密度的表示:通过层次结构,HSMR允许在不同密度级别上获取相同元素的表示。这意味着可以以不同的密度获取相同地图元素的抽象表示。
-
迭代优化:采用了一种基于距离的渐进解码机制,允许通过迭代优化逐渐调整地图的密度。
-
相邻顶点的位置关系:通过引入新查询,利用相邻顶点之间的位置关系,从而增加地图的密度,同时保持足够的稀疏性。
评论:这块可以结合最近的导航地图引入online mapping方案中的一些方向,原理上来说是一个不错的想法。
渐进监督策略
通过动态密度调整,Progressive Supervision允许在处理不同密度的地图时逐步提高推断的准确性,避免了过早引入过多的细节信息。
其Loss 函数设计:
-
采用了多个损失函数,其中包括Vertex Loss,Edge Loss,元素类别损失、可驾驶区域损失等。
-
为了提高推断的准确性,采用了一种聚焦损失(focal loss)来处理元素类别的预测。
结果
提高了6.5个mAP,同时达到18.3FPS的速度。