《数字图像处理-OpenCV/Python》连载（44）图像的投影变换

本书京东优惠购书链接：https://item.jd.com/14098452.html
本书CSDN独家连载专栏：https://blog.csdn.net/youcans/category_12418787.html

在这里插入图片描述

第 6 章图像的几何变换

几何变换分为等距变换、相似变换、仿射变换和投影变换，是指对图像的位置、大小、形状和投影进行变换，将图像从原始平面投影到新的视平面。OpenCV图像的几何变换，本质上是将一个多维数组通过映射关系转换为另一个多维数组。

本章内容概要

介绍仿射变换，学习使用仿射变换矩阵实现图像的仿射变换。
学习使用函数实现图像的平移、缩放、旋转、翻转和斜切。
介绍投影变换，学习使用投影变换矩阵实现图像的投影变换。
介绍图像的重映射，学习使用映射函数实现图像的自定义变换和动态变换。

6.6　图像的投影变换

透视变换（Perspective Transformation）是OpenCV中常用的投影变换，是指将图像投影到一个新的视平面。投影变换的特点是原始图像中的平行关系和比例关系都可以改变，但图像中的直线在投影变换后仍然能保持直线。
投影变换可以通过对三维空间中的物体旋转进行校正，主要用于图像拼接和校正透视投影导致的图像失真。
投影变换的方法是在原始图像上确定不共线的4个点，给定这4个点在变换图像中的位置，就确定了一个投影变换，其变换关系可以由如下的3×3矩阵来描述。

$\begin{bmatrix} \tilde{x}\\ \tilde{y}\\ \tilde{z} \end{bmatrix} = M_P \begin{bmatrix} x\\ y\\ z \end{bmatrix} ,\hspace{1em} M_P= \begin{bmatrix} M_{11} &M_{12} &M_{13}\\ M_{21} &M_{22} &M_{23}\\ M_{31} &M_{32} &M_{33} \end{bmatrix}$

仿射变换是在二维平面进行变换的，而投影变换是在三维坐标系进行变换的。仿射变换是3点变换，投影变换是4点变换。比较仿射变换与投影变换的描述公式，仿射变换可以被视为z轴不变的透视变换。

在OpenCV中，先由函数cv.getPerspectiveTransform计算投影变换矩阵 $M_P$ ，再由函数cv.warpPerspective根据投影变换矩阵 $M_P$ 计算得到投影变换图像。

函数cv.getPerspectiveTransform能根据图像中不共线的4个点在变换前后的对应位置坐标，求解得到投影变换矩阵 $M_P$ 。

函数原型

cv.getPerspectiveTransform(src, dst[,solveMethod]) → MP

参数说明

src：原始图像中不共线4个点的坐标，是形状为(4,2)的Numpy数组。
dst：投影变换图像中对应的不共线4个点的坐标，是形状为(4,2)的Numpy数组。
solveMethod：矩阵分解方法。
- DECOMP_LU：选择最佳轴的高斯消元法，默认方法。
- DECOMP_SVD：奇异值分解（SVD）方法。
- DECOMP_EIG：特征值分解方法，必须与src对称。
- DECOMP_CHOLESKY：Cholesky LLT分解方法。
- DECOMP_QR：正交三角（QR）分解方法。
- DECOMP_NORMAL：使用正则方程，与前述方法联合使用。
MP：投影变换矩阵，是形状为(3,3)、类型为np.float32的Numpy数组。

注意问题

（1）虽然参数src、dst通常表示输入、输出图像，但在函数cv.getPerspectiveTransform中是指原始图像与变换图像中不共线的4个点，也被称为四边形的顶点。
（2）参数src、dst是形状为(4,2)的Numpy数组，数值是图像中4个顶点的坐标(x,y)。

函数cv.warpPerspective可通过投影变换矩阵计算投影变换图像。

函数原型

cv.warpPerspective (src, M, dsize[, dst, flags, borderMode, borderValue]) → dst

由投影变换矩阵M计算投影变换图像的公式为

参数说明

src：原始图像，是Numpy数组。
dst：投影变换输出图像，类型与src相同，图像尺寸由参数dsize确定。
M：投影变换矩阵，是形状为(3,3)、类型为np.float32的Numpy数组。
dsize：输出图像大小，格式为元组(w,h)。
flags：插值方法与逆变换标志，可选项。
- INTER_LINEAR：双线性插值，默认方法。
- INTER_NEAREST：最近邻插值。
- WARP_INVERSE_MAP：逆变换标志。
borderMode：边界扩充方法，可选项，默认为cv.BORDER_CONSTANT。
borderValue：边界填充值，可选项，默认值为0，表示黑色填充。

注意问题

（1）输出图像大小dsize的格式为(w,h)，与OpenCV中图像形状(h,w)的顺序相反。
（2）通过函数cv.warpPerspective计算投影变换，投影变换矩阵M的形状为(3,3)，数据类型必须是np.float32。
（3）当flags设为WARP_INVERSE_MAP时，先由投影变换矩阵计算逆投影变换矩阵，再计算输入图像的逆投影变换图像。

【例程0606】基于投影变换实现图像校正

手机或相机拍摄的照片，通常都存在投影变形。本例程通过投影变换实现图像校正。

先用鼠标在图像中依次选取矩形的4个顶点，获取4个顶点的坐标，再根据长宽比计算4个顶点在投影变换后的坐标，进行投影变换，就可以实现图像校正。

# 【0606】基于投影变换实现图像校正
import cv2 as cv
import numpy as np
from matplotlib import pyplot as plt

def onMouseAction(event, x, y, flags, param):  # 鼠标交互 (单击选点，右击完成)
    setpoint = (x, y)
    if event == cv.EVENT_LBUTTONDOWN:  # 单击
        pts.append(setpoint)  # 选中一个多边形顶点
        print("选择顶点 {}：{}".format(len(pts), setpoint))

if __name__ == '__main__':
    img = cv.imread("../images/Fig0602.png")  # 读取彩色图像(BGR)
    imgCopy = img.copy()
    height, width = img.shape[:2]

    # 鼠标交互从输入图像选择 4 个顶点
    print("单击左键选择 4 个顶点 (左上-左下-右下-右上):")
    pts = []  # 初始化 ROI 顶点坐标集合
    status = True  # 进入绘图状态
    cv.namedWindow('origin')  # 创建图像显示窗口
    cv.setMouseCallback('origin', onMouseAction, status)  # 绑定回调函数
    while True:
        if len(pts) > 0:
            cv.circle(imgCopy, pts[-1], 5, (0,0,255), -1)  # 绘制最近的一个顶点
        if len(pts) > 1:
            cv.line(imgCopy, pts[-1], pts[-2], (255, 0, 0), 2)  # 绘制最近的一段线段
        if len(pts) == 4:  # 已有 4个顶点，结束绘制
            cv.line(imgCopy, pts[0], pts[-1], (255,0,0), 2)  # 绘制最后的一段线段
            cv.imshow('origin', imgCopy)
            cv.waitKey(1000)
            break
        cv.imshow('origin', imgCopy)
        cv.waitKey(100)
    cv.destroyAllWindows()  # 释放图像窗口
    ptsSrc = np.array(pts)  # 列表转换为 (4,2)，Numpy 数组
    print(ptsSrc)

    # 计算投影变换矩阵 MP
    ptsSrc = np.float32(pts)  # 列表转换为Numpy数组，图像4个顶点坐标为 (x,y)
    x1, y1, x2, y2 = int(0.1*width), int(0.1*height), int(0.9*width), int(0.9*height)
    ptsDst = np.float32([[x1,y1], [x1,y2], [x2,y2], [x2,y1]])  # 投影变换后的 4 个顶点坐标
    MP = cv.getPerspectiveTransform(ptsSrc, ptsDst)

    # 投影变换
    dsize = (450, 400)  # 输出图像尺寸为 (w, h)
    perspect = cv.warpPerspective(img, MP, dsize, borderValue=(255,255,255))  # 投影变换
    print(img.shape, ptsSrc.shape, ptsDst.shape)

    plt.figure(figsize=(9, 3.4))
    plt.subplot(131), plt.axis('off'), plt.title("1.Original")
    plt.imshow(cv.cvtColor(img, cv.COLOR_BGR2RGB))
    plt.subplot(132), plt.axis('off'), plt.title("2.Selected vertex")
    plt.imshow(cv.cvtColor(imgCopy, cv.COLOR_BGR2RGB))
    plt.subplot(133), plt.axis('off'), plt.title("3.Perspective correction")
    plt.imshow(cv.cvtColor(perspect, cv.COLOR_BGR2RGB))
    plt.tight_layout()
    plt.show()

程序说明：
（1）本例程设置了回调函数，通过鼠标交互从输入图像选择了4个顶点。鼠标交互操作的使用方法详见4.9节。
（2）投影变换后4个顶点的坐标是用户设定的，可以根据需要修改。
（3）基于投影变换实现图像校正的运行结果如图6-6所示，图6-6(1)所示为原始图像，图6-6(2)所示为用鼠标在原始图像上选定棋盘的4个顶点，图6-6(3)所示为投影变换后的图像。可以看出，原始图像中透视拍照的倾斜棋盘被校正为矩形。

在这里插入图片描述