实验内容：针对给定的视频，利用图像处理基本方法实现道路路沿的检测；
提示：可利用Hough变换进行线检测，融合路沿的结构信息实现路沿边界定位（图中红色的点位置）。
处理视频文件
处理视频文件的主要流程如下：
读取视频→逐帧提取→路沿检测→逐帧保存→输出视频
用python的OpenCV实现视频文件的处理，用videoCapture打开视频文件，读取每一帧进行处理，然后用videoWriter保存成视频。
路沿检测
路沿检测的流程如下：
图像预处理→边缘检测→Hough变换
图像预处理
灰度化
从视频中取出的每一帧是彩色图像，我们可以先将它变成灰度图像，即将图像中的每个像素的RGB值（红、绿、蓝）转换为一个单一的灰度值。
image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
灰度图像只包含亮度信息，如图1所示，而不包含颜色信息。这样可以简化图像，提高处理速度，突出图像的结构，减少噪声干扰。
图1
均衡化
我们再将图像均衡化，python代码如下。
image = cv2.equalizeHist(image)
图像均衡化可以提高图像的对比度，如图2所示，突出图像的细节轮廓与边缘。
图2
二值化
将灰度图转换为只有黑白两种颜色的图像，python代码如下。
image = cv2.adaptiveThreshold(image, 255, cv2.ADAPTIVE_THRESH_MEAN_C, cv2.THRESH_BINARY, 11, 2)
图像二值化可以简化图像信息，突出物体的轮廓，如图3所示。
图3
边缘检测
Canny边缘检测
Canny 边缘检测算法是John F.Canny于1986年开发出来的一个多级边缘检测算法，也被很多人认为是边缘检测的最优算法, 最优边缘检测的三个主要评价标准是:
低错误率: 标识出尽可能多的实际边缘，同时尽可能的减少噪声产生的误报。
高定位性: 标识出的边缘要与图像中的实际边缘尽可能接近。
最小响应: 图像中的边缘只能标识一次。
Canny边缘检测算法步骤如下：
高斯滤波去噪→计算梯度幅值和方向→非极大值抑制→双阈值处理
高斯滤波器去除噪声
使用高斯滤波器对图像进行平滑处理，以减少噪声的影响。
计算梯度幅值和方向
按照Sobel算子，运用一对卷积阵列 (分别作用于 x 和 y 方向):
使用下列公式计算梯度幅值和方向:
梯度方向近似到四个可能角度之一(一般 0, 45, 90, 135)。
非极大值抑制
沿边缘垂直方向寻找梯度最大值，排除非边缘像素， 仅仅保留了一些细线条(候选边缘)。
双阈值处理
如果某一像素位置的幅值超过高阈值, 该像素被保留为边缘像素。
如果某一像素位置的幅值小于低阈值, 该像素被排除。
如果某一像素位置的幅值在两个阈值之间,该像素仅仅在连接到一个高于高阈值的像素时被保留。
在python中使用canny对图像进行边缘检测，高阈值为175，低阈值为75。
image = cv2.Canny(image, 75, 175)
效果如图4所示，可见canny算法可以有效的提取图像的边缘信息。
图4
但是canny检测出来的边缘中噪声比较多，我们再使用高斯滤波器模糊一下图像，在python中使用5×5的高斯滤波器模糊图像。
image = cv2.GaussianBlur(image, (5, 5), 0)
效果如图5所示，可见高斯滤波器模糊成功地去掉了一些噪声。
图5
Hough变换
Hough变换是一种用于检测图像中几何形状的技术，将图像由图像空间变换为参数空间。它最初是由保罗·霍夫（Paul Hough）在1962年提出的，用于在图像中检测直线。后来，这个方法被扩展到检测其他几何形状，如圆和椭圆。
一条直线在图像二维空间可由两个变量表示，在笛卡尔坐标系中直线可由参数斜率k和截距b表示y=kx+b，在极坐标系中可由参数极径r和极角θ表示。
对于霍夫变换, 我们将用极坐标系来表示直线，因此直线的表达式可为：
图像空间中的一条线对应Hough空间中的一个点。
图像空间中的一个点对应Hough空间中的一条线。
Hough变换的基本思想是将图像中的像素点映射到参数空间中，并通过在参数空间中寻找峰值来检测几何形状。对于直线检测，参数空间通常是极坐标空间，其中每个像素点在参数空间中对应一条直线。通过遍历图像中的像素点，可以累加参数空间中相应的位置，从而构建一个累加器数组。然后，在累加器数组中找到峰值，这些峰值对应于图像中存在的直线。
Hough变换步骤：
离散化θ，θ=-45,0,45,90度。
按照点的坐标（x，y）和每个角度θ求极半径r：
统计（r，θ）出现的次数
最大次数3出现在（2，0°）和（3，90°），则对应的图像空间的线为x=2和y=3。
Hough变换的优点是它对于噪声和图像变形具有一定的鲁棒性。它可以检测到不完整的、部分可见的或被噪声干扰的几何形状。因此，Hough变换在计算机视觉领域中广泛应用于图像分析、目标检测和特征提取等任务。
标准霍夫线变换
提供一组参数对 (θ, rθ) 的集合来表示检测到的直线，在OpenCV 中通过函数 HoughLines来实现。
lines = cv2.HoughLines(edge, 1, np.pi / 180, 220)
统计概率霍夫线变换
这是执行起来效率更高的霍夫线变换. 它输出检测到的直线的端点 (x0, y0, x1, y1)。在OpenCV 中它通过函数 HoughLinesP来实现。
lines = cv2.HoughLinesP(edge, 1, np.pi / 180, 100, minLineLength=50, maxLineGap=1)
Hough线变换应用路沿检测
本次我们采用标准Hough线变换来检测路沿，经过多次测试和调参，我们最后采用高斯模糊进行图像预处理，然后使用canny进行边缘提取，最后使用Hough线变换绘制直线。
def detect(image):
gauss = cv2.GaussianBlur(image, (5, 5), 0)
edge = cv2.Canny(gauss, 75, 175)
# 进行Hough直线变换
lines = cv2.HoughLines(edge, 1, np.pi / 180, 220)
视频检测效果
第一个视频是一个静止不动的路沿，检测效果如图6所示。
图6
第二个视频中，路沿开始变化起来，检测效果如图7所示。
第三个视频中出现了转弯，检测效果如图8所示，因为我们只做了线变化，因此对于路沿弯曲的部分只能画出直线部分。
图8
代码
import cv2
import numpy as np
def detect(image):
gauss = cv2.GaussianBlur(image, (5, 5), 0)
edge = cv2.Canny(gauss, 75, 175)
# 进行Hough直线变换
lines = cv2.HoughLines(edge, 1, np.pi / 180, 220)
# 绘制检测到的直线
if lines is not None:
for rho, theta in lines[:, 0, :]:
if theta < 2:
continue
a = np.cos(theta)
b = np.sin(theta)
x0 = a * rho
y0 = b * rho
x1 = int(x0 - 350 * (-b))
y1 = int(y0 - 350 * a)
x2 = int(x0 - 700 * (-b))
y2 = int(y0 - 700 * a)
cv2.line(image, (x1, y1), (x2, y2), (0, 255, 0), 4)
return image
video = cv2.VideoCapture('Task2/03.avi') # 打开视频文件
# 获取视频的宽度和高度以及帧率信息
width = int(video.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(video.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = video.get(cv2.CAP_PROP_FPS)
# 创建VideoWriter对象，用于保存处理后的视频
videoWriter = cv2.VideoWriter('Task2/video3.mp4', cv2.VideoWriter_fourcc(*'mp4v'), fps, (width, height))
while True:
have, frame = video.read() # 读取当前帧
if have:
frame = detect(frame) # 在这里对每一帧进行处理
videoWriter.write(frame) # 将处理后的帧写入输出视频文件
else:
break
video.release() # 释放资源
videoWriter.release()
