0. 简介
现在的SLAM算法在静态环境中表现良好,但在动态环境中很容易失败。最近的工作将基于深度学习的语义信息引入到SLAM系统以减轻动态对象的影响。然而,在资源受限的机器人的动态环境中应用鲁棒定位仍然具有挑战性。所以《RGB-D Inertial Odometry for a Resource-Restricted Robot in Dynamic Environments》提出了一种用于动态环境下资源受限机器人的实时RGB-D惯性里程计系统-Dynamic-VINS。系统包含三个主要并行运行的线程:目标检测、特征跟踪和状态优化。这里作者放出了Github代码。Dynamic-VINS采用基于网格的特征检测方法,提出了一种快速、高效的提取高质量FAST特征点的方法。应用IMU来预测运动,进行特征跟踪以及运动一致性检测。近年来,他们的实验室也在这方面做出了很多的贡献。这里CSDN上传空间有限,所以各位想看的直接去IEEE官网看即可。其方法和Github上的YOLO-DynaSLAM差异不大。但是效率更高。
RGB-D Inertial Odometry for a Resource-restricted Robot in Dynamic Environments
1. 文章贡献
本文提出一种动态环境下资源受限机器人的实时RGB-D惯性里程计(dynamic - vins)。它使边缘计算设备能够以较小的计算负担为移动平台提供即时鲁棒的状态反馈。一种不需要高精度深度相机的高效动态特征识别模块可用于配备深度测量模块的移动设备。本文的主要贡献如下:
- 为了在动态复杂环境下为资源受限机器人提供实时状态估计结果,提出了一种高效的基于优化的RGB-D惯性里程计。
- 提出了轻量级的特征检测与跟踪方法,降低了计算负担。此外,提出了结合目标检测和深度信息的动态特征识别模块,以提供复杂和户外环境下鲁棒的动态特征识别。
- 在资源受限平台和动态环境下进行了验证实验,验证了所提方法的准确性、鲁棒性和高效性。
2. 具体算法
本文介绍的算法是基于VINS-Mono[2]和VINS-RGBD[25]对提出的SLAM系统进行了扩展;我们的框架如图1所示,主要贡献点的模块用不同的颜色突出显示。为了提高效率,Dynamic-VINS中有三个主线(由虚线包围)并行运行:目标检测、特征跟踪和状态优化。彩色图像被传递给目标检测线程和特征跟踪线程。对连续两帧之间的IMU测量值进行[26]预积分,用于特征跟踪、运动一致性检查和状态优化。
在特征跟踪线程中,利用IMU预积分实现特征跟踪,并通过基于网格的特征检测实现特征检测。对象检测线程实时检测每帧中的动态对象。然后,状态优化线程汇总特征信息、目标检测结果和深度图像来识别动态特征;针对漏检情况进行漏检补偿模块。运动一致性检测过程结合IMU预积分和历史位姿估计结果识别潜在动态特征。最后,利用稳定特征和IMU预积分结果进行姿态估计。IMU的传播产生IMU率的姿态估计结果。该系统也支持闭环,但重点关注与闭环无关的局部化。
3. 特征匹配
对于每幅输入图像,使用KLT稀疏光流方法[27]跟踪特征点;利用帧间IMU测量值预测特征点的运动。通过减少光流金字塔层数,提供更好的特征初始位置估计,提高特征跟踪效率。它能有效地去除噪声等不稳定特征和运动不一致的动态特征。基本思想如图2所示(这部分类似vins的操作)。
在前一帧中,稳定的特征被标记为红色,新检测到的特征被标记为蓝色。当当前帧到达时,使用当前帧和前一帧之间的IMU测量值来预测当前帧中的特征位置(绿色)。光流将预测的特征位置作为初始位置,在当前帧中寻找匹配的特征。成功跟踪的特征被标记为红色,而失败的特征被标记为不稳定特征(紫色)。为避免特征检测的重复和聚合,设置以稳定特征为中心的橙色圆形掩模;将不稳定特征所在区域视为不稳定特征检测区域,并用紫色圆形掩码以避免不稳定特征检测。
根据掩码,从当前帧的未掩码区域检测到新的特征,并将其着色为蓝色。上述方法可以获得均匀分布的特征,捕捉综合约束,避免在模糊或弱纹理区域重复提取不稳定特征。长期的特征跟踪可以在接下来的基于网格的特征检测中减少时间消耗。
4. 基于网格的特征检测
系统保持最小数量的特性以保持稳定性。因此,需要不断地从帧中提取特征点。采用基于网格的特征检测方法。将图像划分为网格,对每个网格的边界进行填充,以防止忽略网格边缘的特征;填充使当前网格能够获得用于特征检测的相邻像素信息。与遍历整个图像进行特征检测不同,只有特征匹配不足的网格才进行特征检测。对于纹理弱而未能检测到特征或被蒙版覆盖的网格单元,将在下一帧检测中跳过,避免重复无用检测。采用线程池技术来提高基于网格的特征检测的并行性能。因此,特征检测的时间消耗显著减少,且没有损失。
快速特征检测器[28]可以高效地提取特征点,但容易将噪声作为特征,提取相似的聚类特征。因此,结合第III-A节的mask和非极大值抑制的思想,选择高质量且均匀分布的快速特征。