XFeat(Accelerated Features)是一种新颖的卷积神经网络(CNN)架构,专为快速和鲁棒的像匹配而设计。它特别适用于资源受限的设备,同时提供了与现有深度学习方法相比的高速度和准确性。
-
轻量级CNN架构:XFeat设计了一种新颖的轻量级CNN架构,可以部署在资源受限的平台,无需特定硬件优化即可实现高吞吐量或计算效率。
-
关键点检测分支:算法包含一个极简、可学习的关键点检测分支,该分支速度快,适用于小型特征提取骨干网络,并在视觉定位、相机姿态估计和单调配准方面展示了有效性。
-
匹配细化模块:XFeat提出了一种新颖的匹配细化模块,用于从粗半稠密匹配中获得像素级偏移。这种策略不需要高分辨率特征,除了局部描述子本身外,大大减少了计算量。
-
图像分辨率与通道数的平衡:XFeat在限制网络中通道数量的同时保持尽可能大的图像分辨率,以满足准确图像匹配的需求。
-
稀疏与半密集匹配:该模型提供稀疏或半密集级别的匹配选择,每种匹配可能更适合不同的下游应用,如视觉导航和增强现实。
-
速度与准确性:XFeat在速度上超越了当前基于深度学习的局部特征模型(速度提高了5倍),具有相当或更好的准确性,并在姿势估计和视觉定位方面得到了验证10。
-
硬件无关性:XFeat是全面的并且不依赖于特定硬件,可以在多种平台上实现快速和鲁棒的特征匹配算法。
-
特征提取网络架构:XFeat通过早期下采样和浅层卷积,然后在后续编码器中进行更深的卷积以实现快速而鲁棒的特征提取。
-
关键点检测的独立分支:与典型方法不同,XFeat将关键点检测分离成一个独立的分支,使用1×1的卷积在一个8×8的张量块变换图像上进行快速处理。
-
训练与推理:XFeat以监督的方式进行训练,使用像素级地面真实对应关系。在推理时,XFeat支持稀疏和半密集匹配设置,利用相同的预训练骨干网络。