OpenCV：入门（五）

图像梯度

图像梯度计算的是图像变化的速度。对于图像的边缘部分，其灰度值变化较大，梯度值也较大；相反，对于图像中比较平滑的部分，其灰度值变化较小，相应的梯度值也较小。一般情况下，图像梯度计算的是图像的边缘信息。

严格来讲，图像梯度计算需要求导数，但是图像梯度一般通过计算像素值的差来得到梯度的近似值（近似导数值）。

例如，图 9-1 中的左右两幅图分别描述了图像的水平边界和垂直边界。

针对左图，通过垂直方向的线条 A 和线条 B 的位置，可以计算图像水平方向的边界：

对于线条 A 和线条 B，其右侧像素值与左侧像素值的差值不为零，因此是边界。
对于其余列，其右侧像素值与左侧像素值的差值均为零，因此不是边界。针对右图，通过水平方向的线条 A 和线条 B 的位置，可以计算图像垂直方向的边界：
对于线条 A 和线条 B，其下侧像素值与上侧像素值的差值不为零，因此是边界。
对于其余行，其下侧像素值与上侧像素值的差值均为零，因此不是边界。

但是实际图像处理中肯定不会像上图一样好处理，所以我们也有相对复杂的算子：Sobel算子，Scharr算子，拉普拉斯算子等。

一，Sobel算子

（1）原理

Sobel 算子是一种离散的微分算子，该算子结合了高斯平滑和微分求导运算。该算子利用局部差分寻找边缘，计算所得的是一个梯度的近似值。

需要说明的是，滤波器通常是指由一幅图像根据像素点(x, y)临近的区域计算得到另外一幅新图像的算法。因此，滤波器是由邻域及预定义的操作构成的。滤波器规定了滤波时所采用的形状以及该区域内像素值的组成规律。滤波器也被称为“掩模”、“核”、“模板”、“窗口”、“算子”等。一般信号领域将其称为“滤波器”，数学领域将其称为“核”。本章中出现的滤波器多数为“线性滤波器”，也就是说，滤波的目标像素点的值等于原始像素值及其周围像素值的加权和。这种基于线性核的滤波，就是我们所熟悉的卷积。在本章中，为了方便说明，直接使用 “算子”来表示各种算子所使用的滤波器。例如，本章中所说的“Sobel算子”通常是指 Sobel 滤波器。

1.计算水平方向偏导数的近似值

得到结果为：P5x = (P3-P1) + 2·(P6-P4) + (P9-P7)

很明显，这些点都是x轴方向的点，而且离p5点越近权重越大。

那么垂直方向偏导数的近似值应该也很好理解了，我们只需要转置一下sobel算子就可以了。

2. 计算垂直方向偏导数的近似值

P5y = (P7-P1) + 2·(P8-P2) + (P9-P3)

差不多，对吧？

（2）函数解析

dst = cv2.Sobel( src, ddepth, dx, dy[,ksize[, scale[, delta[, borderType]]]] )

dst 代表目标图像。
src 代表原始图像。
ddepth 代表输出图像的深度。其具体对应关系如表 9-1 所示。

dx 代表 x 方向上的求导阶数。
dy 代表 y 方向上的求导阶数。
ksize 代表 Sobel 核的大小。该值为-1 时，则会使用 Scharr 算子进行运算。
scale 代表计算导数值时所采用的缩放因子，默认情况下该值是 1，是没有缩放的。
delta 代表加在目标图像 dst 上的值，该值是可选的，默认为 0。
borderType 代表边界样式。该参数的具体类型及值如表 9-2 所示。

1.参数ddepth

在函数 cv2.Sobel()的语法中规定，可以将函数 cv2.Sobel()内 ddepth 参数的值设置为-1，让处理结果与原始图像保持一致。但是，如果直接将参数 ddepth 的值设置为-1，在计算时得到的结果可能是错误的。在实际操作中，计算梯度值可能会出现负数。如果处理的图像是 8 位图类型，则在 ddepth 的参数值为-1 时，意味着指定运算结果也是 8 位图类型，那么所有负数会自动截断为 0，发生信息丢失。为了避免信息丢失，在计算时要先使用更高的数据类型 cv2.CV_64F，再通过取绝对值将其映射为 cv2.CV_8U（8 位图）类型。所以，通常要将函数 cv2.Sobel()内参数 ddepth 的值设置为“cv2.CV_64F”

简而言之，就是计算梯度时会出现负数，这就会导致一些问题（部分图像无法显示），这部分会在代码示例部分更加详细讨论，我们可以通过参数调整让8位图先升高位数防止截断，当然也可以用abs取绝对值来解决，我们放在后续讨论。

2.方向

在函数 cv2.Sobel()中，参数 dx 表示 x 轴方向的求导阶数，参数 dy 表示 y 轴方向的求导阶数。参数 dx 和 dy 通常的值为 0 或者 1，最大值为 2。如果是 0，表示在该方向上没有求导。当然，参数 dx 和参数 dy 的值不能同时为 0。

参数 dx 和参数 dy 可以有多种形式的组合，主要包含：

计算 x 方向边缘（梯度）：dx=1, dy=0。
计算 y 方向边缘（梯度）：dx=0, dy=1。
参数 dx 与参数 dy 的值均为 1：dx=1, dy=1（这个效果不是很好，一般分别计算x,y方向梯度再计算）
计算 x 方向和 y 方向的边缘叠加：通过组合方式实现。

（3）代码示例

import cv2
import numpy as np
import matplotlib.pyplot as plt

circle = cv2.imread("circle.jpg")
kernel = np.ones((5, 5), np.uint8)
circle = cv2.erode(circle,kernel=kernel,iterations=2)
sobel_x = cv2.Sobel(circle,cv2.CV_64F,1,0,ksize=5)
sobel_x_abs = cv2.convertScaleAbs(sobel_x)
sobel_y = cv2.Sobel(circle,cv2.CV_64F,0,1,ksize=5)
sobel_y_abs = cv2.convertScaleAbs(sobel_y)
sobel_x_y = cv2.Sobel(circle,cv2.CV_64F,1,1,ksize=5)
sobel_x_y_mix = cv2.addWeighted(sobel_x_abs,0.5,sobel_y_abs,0.5,0)
plt.subplot(231), plt.imshow(sobel_x), plt.title("Sobel_X")
plt.subplot(232), plt.imshow(sobel_y), plt.title("Sobel_Y")
plt.subplot(233), plt.imshow(sobel_x_y), plt.title("Sobel_X_Y")#不建议直接计算
plt.subplot(234), plt.imshow(sobel_x_abs), plt.title("Sobel_X_ABS")
plt.subplot(235), plt.imshow(sobel_y_abs), plt.title("Sobel_Y_ABS")
plt.subplot(236), plt.imshow(sobel_x_y_mix), plt.title("Sobel_X_Y_MIX")
plt.show()

和上文提及一般，对比sobel_x和sobel_x_abs图像，我们发现sobel_x图像出现缺失，这是因为计算出负值后出现的截断，导致值为0，对应就是黑点，无法显示出来，这里我们采用取绝对值解决了这个问题。

同样地，我们对比sobel_x_y和sobel_x_y_mix两幅图，前者是通过直接在函数中设置参数dx,dy=1产生的效果，后者是分别计算后叠加在一起的图像，采用的是addweighted方法。

二，Scharr算子

（1）原理

Scharr算子的原理和Sobel算子很相似，就是换了一个滤波器（核），不过Scharr算子精度更高一些。

如图：

（2）函数解析

dst = cv2.Scharr( src, ddepth, dx, dy[, scale[, delta[, borderType]]] )

dst 代表输出图像。
src 代表原始图像。
ddepth 代表输出图像深度。该值与函数 cv2.Sobel()中的参数 ddepth 的含义相同，具体可以参考表 9-1。
dx 代表 x 方向上的导数阶数。
dy 代表 y 方向上的导数阶数。
scale 代表计算导数值时的缩放因子，该项是可选项，默认值是 1，表示没有缩放。
delta 代表加到目标图像上的亮度值，该项是可选项，默认值为 0。
borderType 代表边界样式。具体可以参考表 9-2。

（3）代码示例

import cv2
import numpy as np
import matplotlib.pyplot as plt
if __name__ == '__main__':     
        circle = cv2.imread("circle.jpg")
        kernel = np.ones((5, 5), np.uint8)
        circle = cv2.erode(circle,kernel=kernel,iterations=2)
        scharr_x = cv2.Scharr(circle,cv2.CV_64F,1,0)
        scharr_x_abs = cv2.convertScaleAbs(scharr_x)
        scharr_y = cv2.Scharr(circle,cv2.CV_64F,0,1)
        scharr_y_abs = cv2.convertScaleAbs(scharr_y)
        scharr_x_y_mix = cv2.addWeighted(scharr_x_abs,0.5,scharr_y_abs,0.5,0)
        plt.subplot(231), plt.imshow(scharr_x), plt.title("Scharr_X")
        plt.subplot(232), plt.imshow(scharr_y), plt.title("Scharr_Y")
        plt.subplot(234), plt.imshow(scharr_x_abs), plt.title("Scharr_X_ABS")
        plt.subplot(235), plt.imshow(scharr_y_abs), plt.title("Scharr_Y_ABS")
        plt.subplot(236), plt.imshow(scharr_x_y_mix), plt.title("Scharr_X_Y_MIX")
        plt.show()
        cv2.waitKey(0)

对比Sobel图像：

我们发现Scharr算子显然更加精细一些，效果也要好一些，当然有兴趣的话可以使用其他图片进行更好的观察。

三， Laplacian算子

（1）原理

Laplacian（拉普拉斯）算子是一种二阶导数算子，其具有旋转不变性，可以满足不同方向的图像边缘锐化（边缘检测）的要求。通常情况下，其算子的系数之和需要为零。例如，一个 3×3 大小的 Laplacian 算子如图 9-24 所示。

Laplacian 算子类似二阶 Sobel 导数，需要计算两个方向的梯度值。例如，在图 9-25 中：

左图是 Laplacian 算子。
右图是一个简单图像，其中有 9 个像素点。

计算像素点 P5 的近似导数值，如下：

P5lap = (P2 + P4 + P6 + P8) - 4·P5

（2）函数解析

dst = cv2.Laplacian( src, ddepth[, ksize[, scale[, delta[, borderType]]]] )

dst 代表目标图像。
src 代表原始图像。
ddepth 代表目标图像的深度。
ksize 代表用于计算二阶导数的核尺寸大小。该值必须是正的奇数。
scale 代表计算 Laplacian 值的缩放比例因子，该参数是可选的。默认情况下，该值为 1，表示不进行缩放。
delta 代表加到目标图像上的可选值，默认为 0。
borderType 代表边界样式。该函数分别对 x、y 方向进行二次求导，具体为：

上式是当 ksize 的值大于 1 时的情况。当 ksize 的值为 1 时，Laplacian 算子计算时采用的 3×3 的核如下：

通过从图像内减去它的 Laplacian 图像，可以增强图像的对比度，此时其算子如图 9-27 所示。

（3）代码示例

import cv2
import numpy as np
import matplotlib.pyplot as plt
if __name__ == '__main__':
        circle = cv2.imread("circle.jpg")
        laplacian = cv2.Laplacian(circle,cv2.CV_64F)
        laplacian_abs = cv2.convertScaleAbs(laplacian)
        plt.subplot(121),plt.imshow(laplacian),plt.title("Laplacian")
        plt.subplot(122),plt.imshow(laplacian_abs),plt.title("Laplacian_abs")
        plt.show()
        cv2.waitKey(0)