激光雷达生成的图像检测关键点用来辅助里程计的方案

文章：LiDAR-Generated Images Derived Keypoints Assisted Point Cloud Registration Scheme in Odometry Estimation

作者：Haizhou Zhang , Xianjia Yu, Sier Ha , Tomi Westerlund

编辑：点云PCL

欢迎各位加入知识星球，获取PDF论文，欢迎转发朋友圈。文章仅做学术分享，如有侵权联系删文。

公众号致力于点云处理，SLAM，三维视觉，高精地图等领域相关内容的干货分享，欢迎各位加入，有兴趣的可联系dianyunpcl@163.com。侵权或转载联系微信cloudpoint9527。

摘要

关键点检测和描述子在各种机器人和自主应用中起着至关重要的作用，包括视觉里程计（VO）、视觉导航和同时定位与地图构建（SLAM）。尽管在传统相机图像中广泛研究了大量关键点检测器和描述子，但这些技术在激光雷达生成的图像（即反射率和距离图像）的背景下的有效性尚未得到评估。由于这些图像在恶劣条件下（如雨雾）具有鲁棒性，并且它们包含与激光雷达点云提供的几何信息相补充的显著纹理信息，因此它们备受关注，尤其是当仅依赖激光雷达传感器时，这解决了在激光雷达里程计（LO）中遇到的在几何上相同的场景中或者不是所有原始点云都提供信息且可能具有误导性的漂移挑战。

本文旨在通过全面的定量调查分析常规图像关键点提取器和描述子在激光雷达生成的图像上的适用性。此外提出了一种新方法来增强LO的鲁棒性和可靠性。在提取关键点之后继续对点云进行降采样，随后将其集成到用于里程计估计的点云配准阶段。我们的实验证明所提出的方法具有可比较的准确性，但计算开销减小，里程计发布速率更高，甚至在容易发生漂移的场景中，使用原始点云的性能更优越。这为随后研究将激光雷达生成的图像与LO集成奠定了基础。我们的代码可在 GitHub 上找到：https://github.com/TIERS/ws-lidar-as-camera-odom。

图1：实验中运行的LiDAR里程计结果

主要贡献

视觉里程计（VO）或视觉惯导里程计（VIO）的方法在很大程度上依赖于视觉传感器的可操作性，需要相机内参的知识来促使运动结构估计（SfM）——这是激光雷达生成的图像未能满足的先决条件。这带来了从激光雷达生成的图像中以某种方式提取关键点的困难，以便在里程计估计中进一步应用。因此，为解决上述问题，在本研究的贡献有：

i) 通过多个专门的度量标准对现有关键点检测器和描述符在激光雷达生成的图像上的有效性进行了调查，提供定量评估。
ii) 对提高低分辨率激光雷达生成数据的最佳分辨率和插值方法进行了广泛研究，以更有效地提取关键点。
iii) 提出了一种新颖的方法，利用检测到的关键点及其邻近点提取可靠的点云（降采样），以减小计算开销并减少有价值点获取中的缺陷。

内容概述

数据集

为了评估关键点检测器和描述子以及我们提出的方法，我们使用了已发布的多模态LiDAR感知的开源数据集，该数据集包含各种LiDAR，其中Ouster LiDAR不仅提供点云，还提供其生成的图像。数据集中使用的Ouster LiDAR是OS0-128，其详细规格显示在表III中。

图1:所提出的从连续点云恢复4D对象标签的模型的系统结构概述。

OS0-128生成的图像如图2所示，包括信号图像、反射率图像、近红外图像和距离图像，其覆盖了360°×90°的广阔视野，信号图像是给定点返回到传感器的光信号强度的表示，它取决于诸如入射角、与传感器的距离以及物体的材料特性等各种因素。在近红外图像中，每个像素的强度由未由传感器自己的激光脉冲发出的检测到的光子数量表示，而是可能来自太阳光或月光等源。反射率图像中的每个像素表示计算得到的校准反射率。然后，距离图像展示了从传感器到环境中物体的距离。正如我们先前研究的结果所示，信号图像在计算机视觉领域的传统深度学习任务中表现出优越性能。

图2：LiDAR生成图像样本，从上到下分别是信号图像、距离图像、反射率图像和点云。

为LiDAR生成的图像搜索最佳预处理配置

人工的LiDAR生成图像通常是全景的但低分辨率的，此外这些图像通常表现出相当程度的噪声，这引发了一个问题，即是否可以使用原始图像来促进关键点检测器和描述符算法的功能评估。我们的初步实验显示在使用未经修改的原始LiDAR生成图像时，跨一系列检测器和描述子的性能表现不佳。为了确定增加图像分辨率的最佳分辨率和插值方法，进行了一项广泛的比较实验。在这一部分中，我们对原始图像实施了一系列插值技术，使用了广泛的图像分辨率组合，插值方法包括双三次插值（CUBIC）、8x8邻域上的Lanczos插值（LANCZOS4）、使用像素面积关系重新采样（AREA）、最近邻插值（NEAREST）和双线性插值（LINEAR），预处理的主要过程在Algorithm 1中有详细说明。

用于LiDAR生成图像的关键点检测器和描述子

检测器-描述子算法的评估工作流通常包括三个阶段，包括特征提取、关键点描述和在连续图像帧之间进行关键点匹配。

指定的关键点检测器和描述子：我们研究了表I中详细说明的一系列关键点检测器和描述符。所使用的关键点检测器包括SHITOMASI、HARRIS、FAST、BRISK、SIFT、SURF、AKAZE和ORB。此外，我们还将Superpoint，一个基于DL的关键点检测器，集成到我们的方法中。我们实验中实现的关键点描述符包括BRISK、SIFT、SURF、BRIEF、FREAK、AKAZE和ORB。

图像之间的关键点匹配：关键点匹配是检测器-描述符工作的最后阶段，重点是在两个图像之间相关联关键点，这对于建立空间关系和形成一致的场景理解至关重要。两点之间描述符的距离越小，它们在两个图像之间是相同的点或对象的可能性就越大。在我们的实现中，我们采用了一种称为“带交叉检查的暴力匹配”的技术，这意味着对于图像A中的给定描述符DA和图像B中的另一个描述符DB，有效的对应需要这两个描述符相互识别对方作为它们的最近描述子。

选择的评估指标：由于缺乏基准数据集和数据标记所需的大量工作，我们选择不依赖基于地面真值的评估方法。相反，我们结合了一些独立于地面真值的专门设计的度量标准，以及一些直观的度量标准，形成了表II中列出的完整指标。据我们了解，这代表了目前在缺乏基准数据集的情况下可用的最广泛的评估指标集。

评估过程：下面Algorithm 2中显示的流程图概述了程序执行的步骤。使用两个嵌套循环迭代不同的检测器-描述符对。对于每个图像，算法检测并描述其关键点。如果处理了多个图像，将当前图像的关键点与前一个图像进行匹配。然后，将度量放置在相应的位置以评估算法的性能。

由LiDAR生成的图像关键点辅助点云配准

点云匹配方法：采用KISS-ICP作为我们的点云匹配方法，它还提供了里程信息，使我们能够通过定位误差（即平移误差和旋转误差）的检查来评估我们的点云降采样方法的效果。为了概括我们提出的方法，我们还测试了基于NDT的简单SLAM程序。

点云降采样的提出方法：LiDAR生成图像的预处理，确定了关键点检测器和描述符的最佳配置。利用这些配置作为基础，我们建立了我们提出的方法的工作流程，如图3所示。在这个过程中，我们为距离和信号图像分别进行不同的预处理程序，将它们分别用于关键点检测和描述符提取。随后，我们将从两个图像中获得的关键点结合起来，并搜索每个关键点的K个最近点。我们在3到7的范围内系统地变化K，遵循最大阈值为7的原则，以符合我们降采样点云的主要目标。因此，我们找到了关键点及其邻近点在原始点云中的对应点云，从而形成了降采样的点。在我们的分析中，我们不仅研究了位置误差，还研究了旋转误差、计算资源利用、降采样导致的点云密度变化以及LO的发布速率。

实验

LiDAR生成图像预处理方法的结果

独特性和匹配得分被认为是整个算法流程整体准确性的关键指标。因此，在不同尺寸和插值方法在不同指标上表现最佳的情况下，这两个指标是我们关注的主要内容。基于这样的标准，大小为 1024 x 64 在所有检测器和描述符方法中表现更好。然后在表 IV 中，我们的评估还显示线性插值方法在各种插值技术中产生了最佳结果。

表 V 中的结果还表明，适当减小图像的大小相对于放大图像具有明显优势。

这里有一个更直观的结果，显示减小图像的大小要远远优于放大图像。在图 4a 和图 4b 中，Superpoint 检测器将关键点标识为绿点。放大的图像图 4a 显示了许多杂乱的点。相反，缩小的图像图 4a 显示了明显的关键点，例如房间的角落和各个物体平面相交的点。请注意，我们为了便于阅读将这两个图像调整了大小，它们的原始大小不同。

图4：在调整大小后的信号图像中检测到的关键点

LiDAR 图像的关键点检测器和描述符结果

在图 5 中，这是仅与检测器有关的指标，FAST 和 BRISK 算法检测到了最多的关键点，但计数中存在显着的波动。相比之下，AKAZE、ORB 和 Superpoint 检测到的关键点数量较少，但一致性值得注意。

图5：关键点数量

图 6 描述了计算效率，其中大多数算法的运行时间都在 50 毫秒以下。在启用 CUDA 后，SuperPoint 的运行速度显著提高，波动最小。在所有算法中，BRISK 是最耗时的，仅使用 BRISK 作为描述符与其他检测器一起使用将阻碍整体效率。

图6：计算效率

LiDAR 生成的图像关键点辅助 LO 结果

表 VIII 和表 IX 中的结果证明，传统的关键点提取器可以实现可比的 LO 平移估计和比 Superpoint 更准确的旋转估计。

总结

为了减轻计算负担，同时确保在LO中保留足够数量的可靠关键点用于点云配准，本研究引入了一种整合了LiDAR生成图像的新方法。对最初设计用于传统图像的关键点检测和描述符进行了对LiDAR生成图像的全面分析。这不仅为本文后续部分提供了信息，还为旨在增强LO和SLAM技术的健壮性和韧性的未来研究奠定了基础。基于从这一分析中得出的见解，我们提出了一种在保持显著点的完整性的同时对原始点云进行下采样的方法。我们的实验证明，我们提出的方法在性能上与使用完整原始点云相媲美，并且在完整原始点云无效的情景中，尤其是在漂移情况下，它超越了完整原始点云。此外，我们的方法在面对旋转变换时表现出值得称赞的鲁棒性。我们的方法的计算开销低于使用原始点云的LO，但具有更高的里程计发布速率。

在未来的工作中，有潜力将当前LiDAR生成图像关键点提取过程无缝集成到更广泛的SLAM流程中。例如，一种探索途径可能涉及将从LiDAR生成图像中提取的特征与从点云数据中导出的特征合并，从而促进开发轻量级SLAM系统，该系统由其他传感器（例如IMU）辅助。

资源

自动驾驶及定位相关分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

自动驾驶中基于光流的运动物体检测

基于语义分割的相机外参标定

综述：用于自动驾驶的全景鱼眼相机的理论模型和感知介绍

高速场景下自动驾驶车辆定位方法综述

Patchwork++：基于点云的快速、稳健的地面分割方法

PaGO-LOAM:基于地面优化的激光雷达里程计

多模态路沿检测与滤波方法

多个激光雷达同时校准、定位和建图的框架