概述
OpenCV 的视频模块是其核心组成部分之一，主要负责视频文件的读取、处理、分析以及视频流的捕获和输出。这一模块使得开发者能够轻松地处理来自摄像头、文件或其他视频源的视频数据，进行实时或离线的图像处理和计算机视觉任务。以下是 OpenCV 视频模块的一些关键组件和功能简介：
1. cv::VideoCapture 类
- 功能：用于从摄像头或视频文件中捕获视频帧。通过传递设备索引或视频文件路径给构造函数，可以创建一个
VideoCapture对象。之后，可以通过read()方法逐帧读取视频。 - 属性获取：可以获取视频的帧率 (
CAP_PROP_FPS)、帧大小 (CAP_PROP_FRAME_WIDTH,CAP_PROP_FRAME_HEIGHT) 等属性。 - 视频来源：支持多种视频源，包括本地文件（如
.mp4,.avi等）和网络摄像头。
2. cv::VideoWriter 类
- 功能：用于将处理后的视频帧写入视频文件。可以指定输出文件名、编码器、帧率和帧大小。
- 编码器选择：通过
fourcc参数指定编码器（例如，cv::VideoWriter::fourcc('M','J','P','G')对应于 MJPG 编码）。 - 视频输出：支持多种视频格式，但实际可用的编码器和格式依赖于系统安装的 FFmpeg 或其他后端库。
3. 实时视频处理
- 帧处理：读取的每一帧都可以通过 OpenCV 提供的各种图像处理函数进行处理，如色彩空间转换、滤波、边缘检测、特征提取等。
- 实时应用：结合高效的算法，可以实现实时的视频监控、人脸识别、物体追踪等应用。
4. 视频分析
- 运动检测：基于帧差法、背景减除等技术，可以识别视频中的运动区域。
- 目标跟踪：实现对特定目标的连续帧间跟踪，如卡尔曼滤波器、光流法、深度学习跟踪器等。
- 场景解析：进行场景分割、行为识别等高级视频理解任务。
5. 后端支持与兼容性
- FFmpeg集成：OpenCV 可以利用 FFmpeg 库来支持更广泛的视频格式和编解码器，提升兼容性和性能。
- 跨平台：OpenCV 的视频模块设计为跨平台，支持 Windows、Linux、macOS 等操作系统，但具体功能和性能可能会因操作系统和后端库的差异而有所不同。
6. 性能优化
- 多线程和硬件加速：虽然 OpenCV 自身不直接提供多线程视频处理功能，但开发者可以通过多线程技术并结合硬件加速（如利用 CUDA、OpenCL 或 FFmpeg 的 GPU 解码）来提升视频处理的效率。
实现原理
接口上opencv支持cv::VideoCapture、cv::VideoWriter两个接口来处理视频，后端则支持多种框架，一般默认使用的ffmpeg作为后端处理。
通过cmake-gui 查看参数配置
生成的信息查看ffmpeg信息
你也可以通过代码查看后端类型
cv::VideoCapture cap(videoFileName);
std::cout << "BackendName" << cap.getBackendName() << std::endl;使用示例
打开默认摄像头
//declare a capture object
cv::VideoCapture cap(0, cv::CAP_MSMF);
//or specify the apiPreference with open
cap.open(0, cv::CAP_MSMF);打开视频文件
//declare a capture object
cv::VideoCapture cap(filename, cv::CAP_MSMF);
//or specify the apiPreference with open
cap.open(filename, cv::CAP_MSMF);处理视频流
cv::VideoCapture cap(videoFileName); // 替换为你的视频文件路径
if (!cap.isOpened()) {
std::cout << "无法打开视频文件" << std::endl;
return ;
}
auto frameCount = cap.get(cv::CAP_PROP_FRAME_COUNT);
while (true) {
cv::Mat frame;
if(!cap.read(frame))
{
break;
}
// do ......
}
cap.release();视频播放
#include <opencv2/opencv.hpp>
#include <iostream>
int main(int argc, char** argv)
{
// 检查是否有视频文件作为参数传入
if (argc != 2)
{
std::cout << "Usage: " << argv[0] << " <video_file_path>" << std::endl;
return -1;
}
// 使用视频文件路径初始化VideoCapture对象
cv::VideoCapture cap(argv[1]);
if (!cap.isOpened())
{
std::cout << "Error opening video file" << std::endl;
return -1;
}
// 获取视频的帧率
double fps = cap.get(cv::CAP_PROP_FPS);
if (fps <= 0)
{
fps = 30; // 如果无法获取帧率，默认设为30
}
// 创建一个窗口用于显示视频
cv::namedWindow("Video Player", cv::WINDOW_NORMAL);
cv::Mat frame;
while (true)
{
// 读取下一帧
if (!cap.read(frame))
{
// 如果没有更多帧，跳出循环
break;
}
// 显示当前帧
cv::imshow("Video Player", frame);
// 按任意键退出，或者根据fps控制播放速度
if (cv::waitKey(1000 / fps) >= 0)
{
break;
}
}
// 释放资源并关闭窗口
cap.release();
cv::destroyAllWindows();
return 0;
}对ffmpeg进行特殊处理
可以设置环境变量OPENCV_FFMPEG_WRITER_OPTIONS、OPENCV_FFMPEG_CAPTURE_OPTIONS传递附加参数。
参数格式：key;value|key;value|key;valuehwaccel;cuvid|video_codec;h264_cuvid|vsync;0vcodec;x264|vprofile;high|vlevel;4.0
OPENCV_FFMPEG_WRITER_OPTIONS 是一个环境变量，用于传递给 OpenCV 的 FFmpeg 视频写入器（VideoWriter）的特定选项。这些选项可以影响视频编码、质量、格式等。该环境变量的值是一个字符串，通常以分号(;)分隔不同的选项键值对。
每个键值对的格式通常是 key;value，其中 key 是选项的名称，value 是对应的值。例如：
video_codec;h264：指定视频编码器为 H.264。audio_codec;aac：指定音频编码器为 AAC。bit_rate;1000000：设置比特率为 1000000 bps。preset;slow：设置编码预设，如slow、medium或fast，这会影响编码速度和质量。crf;23：设置恒定速率因子（Constant Rate Factor），影响视频质量。
请注意，不是所有的 FFmpeg 选项都适用于 OPENCV_FFMPEG_WRITER_OPTIONS，因为 OpenCV 的 VideoWriter 类可能只支持 FFmpeg API 的一部分。此外，可用的选项可能因 OpenCV 版本和 FFmpeg 版本的不同而不同。在使用时，建议查阅 OpenCV 和 FFmpeg 的官方文档以获取最新和最准确的信息。
