2D-2D匹配: 对极几何

SLAM十四讲笔记1

1.1 对极几何數學模型

考虑从两张图像上观测到了同一个3D点，如图所示**。**我们希望可以求解相机两个时刻的运动$R,t$。

假设我们要求取两帧图像$I_1,I_2$之间的运动,设第一帧到第二帧的运动为R ,t,两个相机中心分别为$O_1,O_2$.考虑$I_1$中有一个特征点$p_1$,它在$I_2$中对应着特征点$p_2$.连线$\overrightarrow{O_1 p_1} $和$\overrightarrow{O_2 p_2}$ 在三维空间中交于点P,这时点$O_1,O_2,P$三个点可以确定一个平面,为极平面.$O_1,O_2$连线与像平面$I_1,I_2$的交点分别为$e_1,e_2$,$e_1,e_2$称为极点,$O_1{O}_2$称为基线，极平面与两个像平面$I_1,I_2$之间的相交线$l_1,l_2$称为极线.

$P$在$I_1$下的线号机坐标为$P=[X,Y,Z{]}^T$,两个投影像素点$p_1,p_2$ 的像素位置满足如下公式：
$$\{\begin{array}{r}{s}_1{p}_1=KP\\ s_2{p}_2=K(RP+t)\end{array}$$
取 $p_1,p_2$ 的归一化坐标$\{\begin{array}{r}{x}_1=K^{-1}{p}_1\\ x_2=K^{-1}{p}_2\end{array}$

$x_1,x_2$是两个像素归一化平面上的坐标。代入上式，得到$x_2=R{x}_1+t$

同时左乘 $t^{\wedge }$可得：
$$t^{\wedge }{x}_2=t^{\wedge }R{x}_1$$
同时左乘 $x_2^T$,可得
$$x_2^T{t}^{\wedge }{x}_2=x_2^T{t}^{\wedge }R{x}_1$$
可得
$$x_2^T{t}^{\wedge }R{x}_1=0$$
重新带入$p_1,p_2$，可得：
$$p_2^T{K}^{-T}{t}^{\wedge }R{K}^{-1}{p}_1=0$$
以上俩个式子称为对极约束,定义基础矩阵F和本质矩阵E,可以进一步简化对极约束:
$$E=t^{\wedge }RF=K^{-T}E{K}^{-1}{x}_2^{T}E{x}_1=p_2^{T}F{p}_1=0$$
本质矩阵E 的求解
考虑到E 的尺度等价性,可以用8对点来估计E,是为八点法.

对于一对匹配点,其归一化坐标$x_1=[u_1,v_1,1],x_2=[u_2,v_2,1]$根据对极约束,有
$$(u_1,v_1,1)\left[\begin{array}{ccc}{e}_1& e_2& e_3\\ e_4& e_5& e_6\\ e_7& e_8& e_9\end{array}\right]\left[\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right]=0$$

把矩阵E展开为向量${\left[\begin{array}{ccccccccc}{e}_1& e_2& e_3& e_4& e_5& e_6& e_7& e_8& e_9\end{array}\right]}^T$ ,对极约束可以写成与e ee有关的线性形式:
$$[u_1{u}_2,u_1{v}_2,u_1,v_1{u}_2,v_1{v}_2,v_1,u_2,v_2,1{]}^T.e=0$$
把八对点对应的$x_1,x_2$分别代入方程中,得到线性方程组:

求得E后,对E进行SVD分解以求取R,t :设E的SVD分解为$E=U\sum V^T$则对应的R ,t 分别为:
$$t^{\wedge }=U{R}_Z(\frac{\pi }{2})\sum U^{T}R=U{R}_Z^T(\frac{\pi }{2})\sum V^T$$
其中$R_Z(\frac{\pi }{2})$表示沿Z轴旋转90°得到的旋转矩阵.

1.2 对极几何讨论

对极几何的讨论:

• 1. 尺度不确定性: 2D图像不具有深度信息,这导致了单目视觉的尺度不确定性. 实践中设t 为单位1,计算相机运动和和特征点的3D位置,这被称为单目SLAM的初始化.

  2. 退化问题：当特征的共面或者相机发生纯旋转时，基础矩阵的自由度下降，就出现所谓的退化。实际中数据总是包含一些噪声，这时候继续使用八点法求解基础矩阵，基础矩阵多余出来的自由度将会主要由噪声决定。

     为了可以避免退化现象造成的影响，通常在估计基础矩阵F的同时会求解单应矩阵H，选择重投影误差比较小的那个作为最终的运动估计矩阵。

  3. 初始化的纯旋转问题: 若相机发生纯旋转,导致t 为零,得到的E也将为零,会导致我们无从求解R.因此单目初始化不能只有纯旋转,必须要有一定程度的平移.

  4. 多于8对点的情况:

     对于八点法,有$Ae=0$,其中A为一个8×9的矩阵.

     若匹配点的个数多于8个,A的尺寸变化,上述方程不成立.因此转而求取最小化二次型
     $$mi{n}_e||Ae|{|}_2^2=mi{n}_e{e}^T{A}^{T}Ae$$
     是为最小二乘意义下的E矩阵.

     1.3 E/F的意义

     基础矩阵F描述了三维空间点P在摄像机不同方位下成像得到的投影像素点之间的关系。
     本质矩阵E描述 相邻图像上对应像素归一化平面上的，估计相机在两个位置的相对运动。

1.4 SVD（奇异值分解）是一种常用的矩阵分解方法，其特点包括：

可以将任何矩阵分解成三个部分：左奇异矩阵、右奇异矩阵和奇异值矩阵。

1. 奇异值矩阵是一个对角矩阵，其中的元素称为奇异值。奇异值是非负实数，代表着矩阵在每个主方向上的“重要程度”。

2. 左奇异矩阵和右奇异矩阵都是正交矩阵。这意味着它们的转置矩阵等于它们的逆矩阵，所以可以用于矩阵的变换和逆变换。

3. SVD 分解可以用于数据降维、噪声滤波、图像压缩等领域，具有广泛的应用价值。

4. 对于奇异值较小的部分可以进行截断操作，这可以有效地减少数据的维度并去除噪声。

5. SVD 分解是一种数值稳定的算法，能够处理大部分类型的矩阵并且不容易出现数值不稳定的情况。