运动恢复结构是通过三维场景的多张图像,恢复出该场景的三维结构信息以及每张图片对应的摄像机参数。
欧式结构恢复(内参已知,外参未知)
欧式结构恢复问题:
已知:1、n个三维点在m张图像中的对应点的像素坐标
2、相机内参
求解:1、n个三维点坐标
2、m个摄像机的外参数R、T
通过极几何我们知道本质矩阵和基础矩阵【三维重建】对极几何-CSDN博客
求得了基础矩阵F,知道相机内参,就能求得本质矩阵E
核心问题就在于如何从E中分离出R、T
仿射结构恢复(相机为仿射相机,内、外参数均未知)
仿射相机指的是在将世界坐标系的点映射到像素坐标系时候,用固定深度代替
仿射结构恢复的结果能保证平行性,但是保证不了角度
我们的目标是求解A、b、X
透视结构恢复(相机为透视相机,内参外参未知)
透视结构恢复由于缺少内参,没法求得精确的投影矩阵,和仿射结构恢复一样存在一个无法求解的可逆矩阵H(4x4,15个自由度)。
透视结构所面临的为题比仿射结构更加复杂,假设有m个相机n个点,透视结构恢复需要求11m+3n-15个未知量,并且求得的结果甚至不能保证平行性。
总结一下欧式结构恢复、仿射结构恢复和透视结构恢复各自存在的问题:
欧式结构恢复求解的结果保证不了尺度、方向等信息,只能保证等比例缩放,想要求得真实的大小需要其他先要知识。一般情况下,欧式结构恢复是相机两两组合,会产生累积误差。
仿射结构恢复求解的结果,包含了欧式结构恢复所面临的问题,能保证平行性,但是保证不了角度。仿射结构恢复要求三维点能够被所有相机看到 ,如何有一个相机没有看到,那么这个点就不能用,因此仿射结构恢复求得的三维点比较少。
仿射结构恢复求解的结果,包含了仿射结构恢复所面临的问题,连平行性都保证不了。和欧式结构一样,透视结构恢复也是通过相机两两组合求解,会产生累积误差。