视觉图像坐标转换

1. 透镜成像

相机的镜头系统将三维场景中的光线聚焦到一个平面（即传感器）。这个过程可以用小孔成像模型来近似描述，尽管实际相机使用复杂的透镜系统来减少畸变和提高成像质量。

小孔成像模型： 假设有一个理想的小孔，光线通过小孔后在对面形成倒立的实像。

在小孔成像模型中，物体到小孔的距离 $Z$ 、焦距 $f$ （小孔到成像平面的距离）、物体的实际尺寸 $Y$ 和 $X$ 以及物体在成像平面上的投影尺寸 $y$ 和 $x$ 之间的关系如下：

$\frac{Z}{f} = \frac{Y}{y} = \frac{X}{x}$
其中，

$Z$ 是物体到小孔的距离。
$f$ 是焦距（小孔到成像平面的距离）。
$Y$ 和 $X$ 是物体的实际尺寸。
$y$ 和 $x$ 是物体在成像平面上的投影尺寸

这个模型假设有一个理想的小孔，光线通过小孔后在对面形成倒立的实像。虽然现实中没有完全理想的小孔，但这个模型有助于理解基本原理。

2. 相机内参数

内参数描述了相机的内部几何特性，包括焦距、主点位置、像素比例等。这些参数通常通过相机标定过程获得，并用于将三维空间中的点投影到二维图像平面上。

三种坐标系的变换
在这里插入图片描述

2.1 主要内参数

焦距（Focal Length）：
- 通常用 $f_x$ 和 $f_y$ 表示，分别对应X轴和Y轴方向上的焦距。
- 焦距决定了相机的视角和放大倍数。
主点（Principal Point）：
- 通常用 $c_x$ 和 $c_y$ 表示，表示光轴与成像平面的交点，即图像中心的像素坐标。
畸变系数（Distortion Coefficients）：
- 包括径向畸变（Radial Distortion）和切向畸变（Tangential Distortion）系数。
- 这些系数用于校正镜头引起的图像失真。

2.2 内参数矩阵

内参数通常以一个3x3的矩阵 $K$ 表示：

$\begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix}$

其中：

$f_x$ 和 $f_y$ 是焦距（以像素为单位）。
$c_x$ 和 $c_y$ 是主点坐标（通常是图像中心）。

2.3 作用

投影变换：将三维空间中的点投影到二维图像平面上。
校正畸变：利用畸变系数校正图像中的失真现象，提高图像质量。

3. 外参数

外参数（Extrinsic Parameters）描述了相机相对于某个固定的世界坐标系的位置和姿态，包括旋转矩阵 $R$ 和平移向量 $t$ 。 获取这些参数通常需要通过特定的方法或技术进行标定或估计。以下是几种常见的获取外参数的方法：

3.1 相机标定（Camera Calibration）

相机标定不仅用于获取内参数，还可以同时获得外参数。常用的方法之一是使用已知几何结构的标定板（如棋盘格），通过多个视角拍摄标定板图像，然后利用这些图像来计算相机的内外参数。

使用OpenCV进行相机标定

OpenCV 提供了一套完整的工具来进行相机标定，可以同时获取内参数和外参数。以下是一个简化的步骤说明：

准备标定板：使用一个已知尺寸的棋盘格作为标定板。
采集图像：从不同角度拍摄多张包含标定板的图像。
角点检测：在每张图像中找到棋盘格的角点位置。
标定过程：使用这些角点信息来计算相机的内外参数。

import cv2
import numpy as np

def calibrate_camera(images, pattern_size=(9, 6)):
    """
    Calibrate the camera using a set of images with a known chessboard pattern.
    
    Parameters:
    - images: List of image paths containing the chessboard pattern.
    - pattern_size: Tuple (rows, cols) representing the number of inner corners per a chessboard row and column.
    
    Returns:
    - Intrinsic matrix K, distortion coefficients, rotation vectors, and translation vectors.
    """
    # Prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0)
    objp = np.zeros((pattern_size[0]*pattern_size[1], 3), np.float32)
    objp[:,:2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1,2)

    # Arrays to store object points and image points from all the images.
    objpoints = []  # 3d point in real world space
    imgpoints = []  # 2d points in image plane.

    for fname in images:
        img = cv2.imread(fname)
        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

        # Find the chess board corners
        ret, corners = cv2.findChessboardCorners(gray, pattern_size, None)

        # If found, add object points, image points (after refining them)
        if ret == True:
            objpoints.append(objp)
            corners2 = cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria)
            imgpoints.append(corners2)

    # Perform camera calibration
    ret, K, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)
    return K, dist, rvecs, tvecs

# Example usage
if __name__ == "__main__":
    # Camera calibration using chessboard images
    images = ["image1.jpg", "image2.jpg", "image3.jpg"]  # Replace with actual image paths
    criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
    
    K, dist, rvecs, tvecs = calibrate_camera(images)
    print("Intrinsic matrix K:\n", K)
    print("Distortion coefficients:", dist)
    print("Rotation vectors:", rvecs)
    print("Translation vectors:", tvecs)