相机标定中一些细节--畸变模型和参数

张正友标定方法做相机标定的主要过程是先估计每张图片的单应性矩阵，然后通过这一系列的单应性矩阵估计出内外参数初值，最后再考虑畸变模型的加入进行非线性优化。同时优化内参、外参和畸变参使得重投影误差最小。

镜头的畸变表现出来的非线性关系，通常使用一些近似的手段来建模逼近它，如下几种常见的镜头畸变模型：

Brown-Conrady
Brandt-Kannala
CMei
David Scaramuzza

其中Brown-Conrady适用于畸变较小的情况，另外几个畸变模型都是针对广角和鱼眼镜头设计的。要做好一个相机的标定除了精确的标定板和规范的图片采集过程，还需要选择合适的标定模型和参数才能达到。在此主要讨论Brown-Conrady模型的一些情况。

Brown-Conrady 畸变模型

即是Opencv中经常用到的[k1,k2,p1,p2,k3,…]这套参数。在opencv的issue中曾经有人提到一类标定问题，主要情况是重投影误差小但是矫正后的图片比较奇怪，具体的说就是校正后的图片中间区域很正直，但是边缘区域就一团糟了。这在后续的AR/SLAM/SFM等应用中会带来各种问题。

这一情况主要的原因有：

1、图片采集不规范，用于标定的图片大多集中在图像中间区域，标定板变化姿态不多，使得标定结果过拟合图像中间区域引起。规范采图即可解决。

2、还有就是畸变参数选择不合适引起的优化过拟合结果。

在这一畸变模型中 $1 + k_1 r^2 + k_2 r^4 + k_3 r^6$ ，径向畸变用高次多项式来逼近这一非线性关系，而忽略了实际透镜的畸变特点进行非线性优化。虽然能达到一定的拟合效果，但是带来了更多的自由度变化空间。也即是高次多项式函数能近似镜头的非线性畸变但不仅限于此，很可能会使得重投影误差虽然更小了，但是远离了镜头实际畸变关系达到过拟合的情况。例如我们拟合带噪声的二次抛物线，用二次多项式拟合的残差通常会大于用更高次的多项式拟合的残差，但是曲里拐弯的高次多项式并不适配二次抛物线的本来面目。也违背了赤池信息量准则。

更具体的说，径向畸变的高次多项式函数需要满足单调性约束。要么单调递增（枕形畸变）要么单调递减（桶形畸变），才符合真实镜头的畸变特点。而Opencv中的优化过程并未考虑这一约束进行优化，使得最后的标定结果常常走样，远离了相机镜头真实的成像关系。当不使用k3时，会自然满足这一单调性约束。在一些资料中有说只使用k1和k2就够了，背后原因阐明不多。

此外[k4,k5,k6]是在畸变较大的情况引入的，比如广角和鱼眼相机的畸变，为了使用更小的阶数来达到更高阶数多项式模型的矫正效果。而实际带来了更多的优化参数，往往效果欠佳。对于这类大畸变需要使用后三种畸变模型。如果要使用[k4,k5,k6]需要保证 $1 + k_4 r^2 + k_5 r^4 + k_6 r^6$ 的所有根要在图像边界外，否则边界内有像素使得分母为0带来异常。