OpenCV：视频背景减除

简述

1. MOG

🔷1.1 主要特点

🔷1.2 代码示例

🔷1.3 运行效果

2. MOG2

🔷2.1 主要特点

🔷2.2 代码示例

🔷2.3 运行效果

3. KNN

4. GMG

5. CNT

6. LSBP

7. 如何选择适合的接口？

🔷7.1 考虑场景的动态性

🔷7.2 考虑光照变化情况

🔷7.3 考虑实时性要求

🔷7.4 考虑物体特征

🔷7.5 考虑阴影影响

8. 资源下载

简述

在计算机视觉领域，背景减除广泛应用于目标检测、视频监控、运动分析等任务。OpenCV提供了多种背景减除算法：

cv2.bgsegm.createBackgroundSubtractorMOG
cv2.createBackgroundSubtractorMOG2
cv2.createBackgroundSubtractorKNN
cv2.bgsegm.createBackgroundSubtractorGMG
cv2.bgsegm.createBackgroundSubtractorCNT
cv2.bgsegm.createBackgroundSubtractorLSBP

1. MOG

基于高斯混合模型（Mixture of Gaussians, MOG）的背景减除算法。该算法通过多个高斯分布来对每个像素的颜色值进行建模，以表示背景的颜色变化。随着时间推移，不断更新这些高斯分布的参数，从而适应背景的缓慢变化。

fgbg = cv2.bgsegm.createBackgroundSubtractorMOG(history=200, nmixtures=5, backgroundRatio=0.7, noiseSigma=0)

参数说明：

history：用于建模背景的历史帧数，默认 200。
nmixtures：高斯混合模型中的高斯分布数量，默认 5。
backgroundRatio：背景比例，用于确定哪些高斯分布属于背景，默认 0.7。
noiseSigma：噪声标准差，默认 0。

🔷1.1 主要特点

早期的高斯混合模型实现，算法相对简单。
对光照变化和背景动态变化的适应性较差。
计算速度相对较快，但在复杂场景下检测精度有限。

🔷1.2 代码示例

import cv2

cap = cv2.VideoCapture('D:\\resource\\opencv\\vtest.avi')
mog = cv2.bgsegm.createBackgroundSubtractorMOG()

while(True):
    ret, frame = cap.read()
    if ret == False:
        break

    mask = mog.apply(frame)
    cv2.imshow('img',mask)

    k = cv2.waitKey(10) 
    if k ==27:
        break

cap.release()
cv2.destroyAllWindows()

🔷1.3 运行效果

原始视频：

背景减除后：

2. MOG2

该接口是对 cv2.bgsegm.createBackgroundSubtractorMOG 的改进版本，同样基于高斯混合模型。它引入了一些优化机制，如自适应学习率和阴影检测，能更好地适应光照变化和背景的动态变化。

fgbg = cv2.createBackgroundSubtractorMOG2(history=500, varThreshold=16, detectShadows=True)

参数说明：

history：用于建模背景的历史帧数，默认 500。
varThreshold：像素与背景模型之间的方差阈值，用于判断像素是否属于前景，默认 16。
detectShadows：是否检测阴影，默认 True。

🔷2.1 主要特点

对光照变化和背景动态变化有更好的适应性。
能够检测阴影并将其以灰色显示在前景掩码中。
计算复杂度相对较高，处理速度比 cv2.bgsegm.createBackgroundSubtractorMOG 稍慢。

🔷2.2 代码示例

import cv2

cap = cv2.VideoCapture('D:\\resource\\opencv\\vtest.avi')
#mog = cv2.bgsegm.createBackgroundSubtractorMOG()
mog = cv2.createBackgroundSubtractorMOG2()

while(True):
    ret, frame = cap.read()
    if ret == False:
        break

    mask = mog.apply(frame)
    cv2.imshow('img',mask)

    k = cv2.waitKey(10) 
    if k ==27:
        break

cap.release()
cv2.destroyAllWindows()

🔷2.3 运行效果

3. KNN

基于 K最近邻（K - Nearest Neighbors, KNN）算法的背景减除方法。它通过对每个像素维护一个样本集，对于新的像素值，通过查找其 K 个最近邻来判断该像素是属于背景还是前景。

fgbg = cv2.createBackgroundSubtractorKNN(history=500, dist2Threshold=400, detectShadows=True)

参数说明：

history（可选）：用于建模背景的历史帧数，默认值为 500。
dist2Threshold（可选）：像素与背景样本之间的距离阈值，用于判断像素是否属于前景，默认值为 400。
detectShadows（可选）：是否检测阴影，默认值为 True。如果设置为 True，检测到的阴影将以灰色显示在前景掩码中。

主要特点：

对动态背景有较好的适应性，能快速适应背景的变化。
在某些场景下计算速度比 cv2.createBackgroundSubtractorMOG2 快。
对噪声有一定的鲁棒性。

4. GMG

结合了统计模型和贝叶斯推理的方法。它首先使用前几帧图像来初始化背景模型，然后通过逐帧更新来适应背景的变化。该算法在处理光照变化和动态背景方面有一定的优势。

fgbg = cv2.bgsegm.createBackgroundSubtractorGMG(initializationFrames=120, decisionThreshold=0.8)

参数说明：

initializationFrames：用于初始化背景模型的帧数，默认 120。
decisionThreshold：决策阈值，用于判断像素是前景还是背景，默认 0.8。

主要特点：

能够快速适应背景的初始变化。
对于小的运动物体检测效果较好，但可能会产生较多的噪声。
计算复杂度相对较高，处理速度较慢。

5. CNT

基于计数的背景减除算法。它为每个像素维护一个计数器，记录该像素值在一段时间内出现的次数。通过比较当前像素值的计数与阈值，判断该像素是属于背景还是前景。

fgbg = cv2.bgsegm.createBackgroundSubtractorCNT(minPixelStability=15, useHistory=True, maxPixelStability=15 * 60, isParallel=True)

参数说明：

minPixelStability：像素成为背景所需的最小稳定帧数，默认 15。
useHistory：是否使用历史信息，默认 True。
maxPixelStability：像素保持稳定的最大帧数，默认 15 * 60。
isParallel：是否并行处理，默认 True。

主要特点：

计算速度非常快，适合实时应用。
对光照变化有一定的鲁棒性，但在复杂场景下的检测精度可能不如其他算法。

6. LOBSTER

基于局部二值模式的背景减除算法。它通过计算像素的局部二值模式来描述像素的纹理特征，从而更好地区分背景和前景。

fgbg = cv2.bgsegm.createBackgroundSubtractorLSBP(
    mc=1,
    nSamples=20,
    LSBPRadius=16,
    Tlower=2.0,
    Tupper=32.0,
    Tinc=1.0,
    Tdec=0.05,
    Rscale=10.0,
    Rincdec=0.005,
    noiseRemovalThresholdFacBG=0.0004,
    noiseRemovalThresholdFacFG=0.0008
)

参数说明：