一、运行
使用的是D435i相机自己录制的数据。
运行命令：
./Examples/RGB-D/rgbd_tum '/opt/vslam/ORB_SLAM3_detailed_comments-dense_map_new/Vocabulary/ORBvoc.txt' '/opt/vslam/ORB_SLAM3_detailed_comments-dense_map_new/Examples/RGB-D/TUM1.yaml' /opt/vslam/data/115/bag_tum '/opt/vslam/data/115/ass.txt'
简单解释一下，第一部分是可执行文件，第二部分是ORB词袋，第三部分是配置文件（在这里更改自己相机的参数），第四部分是数据文件存放所在的文件夹，第五部分是RGB和深度图像的时间戳文件。
二、rgbd_tum.cc文件
首先查看可执行文件链接位置
可以看到是位置是在 /Examples/RGB-D/rgbd_tum.cc，查看rgbd_tum.cc文件。
1、主函数初始化部分
int main(int argc, char **argv)
{
//检查是否输入是5部分
if(argc != 5)
{
cerr << endl << "Usage: ./rgbd_tum path_to_vocabulary path_to_settings path_to_sequence path_to_association" << endl;
return 1;
}
// Retrieve paths to images
vector<string> vstrImageFilenamesRGB;
vector<string> vstrImageFilenamesD;
vector<double> vTimestamps;
//加载图像文件名和时间戳的关联文件
string strAssociationFilename = string(argv[4]);
LoadImages(strAssociationFilename, vstrImageFilenamesRGB, vstrImageFilenamesD, vTimestamps);
//...
return 0;
}开始检查输入是否是5个参数，然后初始化几个容器和变量。
// Retrieve paths to images vector<string> vstrImageFilenamesRGB; vector<string> vstrImageFilenamesD; vector<double> vTimestamps; //加载图像文件名和时间戳的关联文件 string strAssociationFilename = string(argv[4])；
我们看一下这个我输入第五个参数ass.txt的具体内容
时间戳 文件夹名/图像命名 时间戳 文件夹名/图像命名
文件结构如下
然后进入LoadImages（）函数。
2、LoadImages()函数
void LoadImages(const string &strAssociationFilename, vector<string> &vstrImageFilenamesRGB,
vector<string> &vstrImageFilenamesD, vector<double> &vTimestamps)
{
ifstream fAssociation;
fAssociation.open(strAssociationFilename.c_str());
while(!fAssociation.eof())
{
string s;
getline(fAssociation,s);
if(!s.empty())
{
stringstream ss;
ss << s;
double t;
string sRGB, sD;
ss >> t;
vTimestamps.push_back(t);
ss >> sRGB;
vstrImageFilenamesRGB.push_back(sRGB);
ss >> t;
ss >> sD;
vstrImageFilenamesD.push_back(sD);
}
}
}LoadImages 函数接受四个参数：
strAssociationFilename: 一个字符串，表示包含图像文件名和时间戳的关联文件的路径。vstrImageFilenamesRGB: 一个字符串向量的引用，用于存储RGB图像的文件名。vstrImageFilenamesD: 一个字符串向量的引用，用于存储深度图像或其他类型图像的文件名。vTimestamps: 一个双精度浮点数向量的引用，用于存储图像对应的时间戳。
函数逻辑
打开文件: 使用
ifstream打开提供的关联文件strAssociationFilename。读取文件直到结束:
- 通过
while(!fAssociation.eof())循环，函数会一直读取文件直到到达文件末尾。处理每一行:
- 在循环内部，使用
getline(fAssociation,s)读取文件的每一行到字符串s中。- 检查字符串
s是否为空。如果不为空，则处理该行。解析行:
- 使用
stringstream从字符串s中解析数据。- 首先读取一个时间戳
t，并将其添加到vTimestamps向量中。- 然后读取一个字符串
sRGB，表示RGB图像的文件名，并将其添加到vstrImageFilenamesRGB向量中。- 再次读取一个时间戳
t，但是没有赋值操作，属于应付数据格式的无效操作。- 最后，读取另一个字符串
sD，表示深度图像或其他类型图像的文件名，并将其添加到vstrImageFilenamesD向量中。
然后简单看一下主函数中后续的处理，nImages是彩色图像数量。
如果每加载到彩色图像或者彩色图像和深度图像数量不一致，直接报错，返回
int nImages = vstrImageFilenamesRGB.size();
if(vstrImageFilenamesRGB.empty())
{
cerr << endl << "No images found in provided path." << endl;
return 1;
}
else if(vstrImageFilenamesD.size()!=vstrImageFilenamesRGB.size())
{
cerr << endl << "Different number of images for rgb and depth." << endl;
return 1;
}
3、主函数线程开启部分
ORB_SLAM3::System SLAM(argv[1],argv[2],ORB_SLAM3::System::RGBD,true);
float imageScale = SLAM.GetImageScale();
//初始化追踪所用时间存储容器
// Vector for tracking time statistics
vector<float> vTimesTrack;
vTimesTrack.resize(nImages);
//输出一些显示，这里能看到一共读了多少图片
cout << endl << "-------" << endl;
cout << "Start processing sequence ..." << endl;
cout << "Images in the sequence: " << nImages << endl << endl;新建System类 SLAM，各个线程的初始化，一切的开始 ，这个太多了，下一篇开肝。
imageScale是管理图像缩放的一个函数，经过几次跳转，源代码里是1.0
System类成员函数：GetImageScale()
float System::GetImageScale() { return mpTracker->GetImageScale(); }
Tracking类的成员函数GetImageScale()
float Tracking::GetImageScale() { return mImageScale; }
在Tracking.cc里不同函数mImageScale的几次赋值都是1.0f，为了设置的处理大分辨率图像时使用。
4、主要循环
// Main loop
cv::Mat imRGB, imD;
for(int ni=0; ni<nImages; ni++)
{
// Read image and depthmap from file
imRGB = cv::imread(string(argv[3])+"/"+vstrImageFilenamesRGB[ni],cv::IMREAD_UNCHANGED); //,cv::IMREAD_UNCHANGED);
imD = cv::imread(string(argv[3])+"/"+vstrImageFilenamesD[ni],cv::IMREAD_UNCHANGED); //,cv::IMREAD_UNCHANGED);
double tframe = vTimestamps[ni];
if(imRGB.empty())
{
cerr << endl << "Failed to load image at: "
<< string(argv[3]) << "/" << vstrImageFilenamesRGB[ni] << endl;
return 1;
}
if(imageScale != 1.f)
{
int width = imRGB.cols * imageScale;
int height = imRGB.rows * imageScale;
cv::resize(imRGB, imRGB, cv::Size(width, height));
cv::resize(imD, imD, cv::Size(width, height));
}
#ifdef COMPILEDWITHC11
std::chrono::steady_clock::time_point t1 = std::chrono::steady_clock::now();
#else
std::chrono::monotonic_clock::time_point t1 = std::chrono::monotonic_clock::now();
#endif
// Pass the image to the SLAM system
SLAM.TrackRGBD(imRGB,imD,tframe);
#ifdef COMPILEDWITHC11
std::chrono::steady_clock::time_point t2 = std::chrono::steady_clock::now();
#else
std::chrono::monotonic_clock::time_point t2 = std::chrono::monotonic_clock::now();
#endif
double ttrack= std::chrono::duration_cast<std::chrono::duration<double> >(t2 - t1).count();
vTimesTrack[ni]=ttrack;
// Wait to load the next frame
double T=0;
if(ni<nImages-1)
T = vTimestamps[ni+1]-tframe;
else if(ni>0)
T = tframe-vTimestamps[ni-1];
if(ttrack<T)
usleep((T-ttrack)*1e6);这里就看到我输入的第四个参数是/opt/vslam/data/115/bag_tum，他在后面加上/和之前ass.txt文档的命名进行图片读取，如果imageScale != 1.f，则对图片进行缩放，然后进入TrackRGBD(imRGB,imD,tframe)函数，后续写，再下面是模仿现实时间方面的操作。
1、计算并记录处理一个图像帧所需的时间
ttrack，这个时间被存储在vTimesTrack容器中，对应于当前处理的图像帧的索引ni。2、计算下一帧与当前帧之间应有的时间间隔。
vTimestamps是一个包含每帧的时间戳的数组。如果不是最后一帧（ni < nImages - 1），它计算下一帧和当前帧的时间差；如果是最后一帧，它计算当前帧和前一帧的时间差。3、如果处理时间
ttrack小于应有的时间间隔T，代码将使程序休眠差额的时间，以保持时间同步。usleep函数接受微秒作为参数，因此将时间差（秒）乘以1e6来转换
5、 系统终止
// Stop all threads
SLAM.Shutdown();
// Tracking time statistics
sort(vTimesTrack.begin(),vTimesTrack.end());
float totaltime = 0;
for(int ni=0; ni<nImages; ni++)
{
totaltime+=vTimesTrack[ni];
}
cout << "-------" << endl << endl;
cout << "median tracking time: " << vTimesTrack[nImages/2] << endl;
cout << "mean tracking time: " << totaltime/nImages << endl;
// Save camera trajectory
SLAM.SaveTrajectoryTUM("CameraTrajectory.txt");
SLAM.SaveKeyFrameTrajectoryTUM("KeyFrameTrajectory.txt");
return 0;
停止所有线程：
SLAM.Shutdown();这行代码负责安全地停止SLAM系统中所有的运行线程。追踪时间统计：这部分代码首先对存储每一帧追踪时间的向量
vTimesTrack进行排序，然后计算总追踪时间，并输出中位数和平均追踪时间。
- 排序：
sort(vTimesTrack.begin(),vTimesTrack.end());将追踪时间从最短到最长排序。- 总时间计算：通过遍历
vTimesTrack向量，累加每个元素（每帧的追踪时间），计算出总时间。- 中位数和平均时间输出：输出中位数追踪时间（
vTimesTrack[nImages/2]）和平均追踪时间（totaltime/nImages）。保存相机轨迹：SLAM系统保存了两种轨迹文件。
SaveTrajectoryTUM方法保存的是相机的整体轨迹，而SaveKeyFrameTrajectoryTUM方法保存的是关键帧轨迹。这些文件通常用于后续分析、调试或可视化。
SLAM.SaveTrajectoryTUM("CameraTrajectory.txt");保存相机的整体轨迹。SLAM.SaveKeyFrameTrajectoryTUM("KeyFrameTrajectory.txt");保存关键帧的轨迹。程序结束：最后，程序返回0，表示正常结束。
我的电脑是处理器是11th Gen Intel® Core™ i7-11800H @ 2.30GHz × 16 显卡rtx3080，最后结束时的输出，可以看到跟踪基本0.015s每帧，极限能达到每秒60帧，加入yolo后平均每帧5-10ms处理时间算，再加上通讯时间，实时30帧基本没问题。
