第2课 使用FFmpeg读取rtmp流并用openCV显示视频

 本课对应源文件下载链接：

https://download.csdn.net/download/XiBuQiuChong/88680079

这节课我们开始利用ffmpeg和opencv来实现一个rtmp播放器。播放器的最基本功能其实就两个:显示画面和播放声音。在实现这两个功能前，我们需要先用ffmpeg连接到rtmp服务器，当然也可以打开一个文件。

1.压缩备份上节课工程文件夹为demo.rar，并修改工程文件夹demo为demo2，及时备份源文件并在原基础上继续迭代开发是一种好习惯。

2.打开fmlp.cpp，修改其中的删除原来init函数中的代码，并加入以下代码：

runFFmpegHandle = CreateThread(NULL, 0, runFFmpegThreadProc, (LPVOID)this, 0, NULL);

如果把MFC对话框相关代码看作主线程函数的话，上述代码的作用是新建一个线程，并在新的线程中执行与ffmpeg及opencv有关的操作。这样做的好处就是实现了“各司其责”，MFC所在的主线程主要用来处理UI（界面）方面的工作，ffmpeg及opencv子线程主要用来处理网络连接、图形处理等方面的工作，互不影响，简洁高效。

3.因为我们需要连接rtmp服务器，所以我们需要在fmlp.h中增加一个字符串类型的rtmp地址；另外还需要定义子线程句柄及相关函数：

CString inRtmpURL;
HANDLE runFFmpegHandle;
static DWORD WINAPI runFFmpegThreadProc(LPVOID lpParam);
int runFFmpeg();
BOOL isRunning = false;

4.在fmlp.cpp中加入对应的函数，调试输出“runFFmpeg...”则表示子线程正常运行。

5.FFmpeg作为开源的跨平台音视频处理工具，提供了丰富的API来处理音视频文件。下面是利用FFmpeg API播放rtmp或rtsp流或文件的工作流程：

(1)打开输入文件：使用avformat_open_input函数打开输入文件，该函数会自动检测文件格式并初始化相应的解码器。

(2)查找流信息：使用avformat_find_stream_info函数查找输入文件中的音视频流信息，包括编码格式、帧率、分辨率等。

(3)查找解码器：根据流信息中的编码格式，使用avcodec_find_decoder函数查找相应的解码器。

(4)打开解码器：使用avcodec_open2函数打开解码器，准备解码音视频数据。

(5)取数据包：使用av_read_frame函数读取音视频数据包，每个数据包包含一个或多个音视频帧。

(6)解码数据包：对于音频数据包，使用avcodec_send_packet和avcodec_receive_frame函数解码。

(7)处解码后的数据：对于音频数据，可以进行音频处理，如音频播放、音频重采样等；对于视频数据，可以进行视频处理，如视频叠加水印、视频滤镜效果等。

(8)编码数据包：对于音频数据，可以使用avcodec_send_frame和avcodec_receive_packet函数进行编码。

(9)写入数据包：使用av_write_frame函数将编码后的数据包写入输出文件或使用av_interleaved_write_frame函数将编码后的数据包推送到rmtp流服务器。

(10)关闭解码器和输入文件：使用avcodec_close函数关闭解码器，使用avformat_close_input函数关闭输入文件。

(11)释放资源：使用avformat_free_context函数释放AVFormatContext结构体和相关资源。

根据上述流程，我们就可以在runFFmpeg函数中正式开始我们的工作了：


int fmlp::runFFmpeg(){

	//返回值
	int ret;
	//rtmp地址，也可以是本地文件
	const char *inFileName = "rtmp://192.168.0.100/vod/sample.mp4";

	//输入文件上下文结构体
	AVFormatContext *inFormatCtx = NULL;

	//视频解码相关
	int videoIndex = -1;
	AVCodec *vDecodec;
	AVCodecContext *vDecodeCtx = NULL;
	//图像转换上下文结构体
	struct SwsContext* bgrSwsCtx = NULL;
	struct SwsContext* yuvSwsCtx = NULL;
	//图像数据数组
	uint8_t* bgrBuff = NULL;
	//读取的数据包
	AVPacket normalPkt;
	//Mat对象
	cv::Mat srcMat;


	//开始时间和当前时间
	int64_t startTime = 0;
	int64_t currentTime = 0;

	//FFmpeg初始化
	av_register_all();
	avcodec_register_all();
	avformat_network_init();


	inFormatCtx = avformat_alloc_context();
	AVDictionary* options = NULL;
	av_dict_set(&options, "buffer_size", "10240", 0);
	av_dict_set(&options, "max_delay", "1000", 0);
	av_dict_set(&options, "max_analyze_duration", "10000", 0);
	av_dict_set(&options, "probesize", "20480", 0);
	av_dict_set(&options, "stimeout", "5000", 0);
	av_dict_set(&options, "listen_time", "5000", 0);
	av_dict_set(&options, "initial_timeout", "5000", 0);
	av_dict_set(&options, "preset", "ultrafast", 0);
	av_dict_set(&options, "tune", "zerolatency", 0);

	if ((ret = avformat_open_input(&inFormatCtx, inFileName, 0, &options)) < 0)
	{
		TRACE("无法打开输入流.\n");
		return -1;
	}

	if (ret == 0){
		isRunning = true;
	}
	else{
		isRunning = false;
	}

	if ((ret = avformat_find_stream_info(inFormatCtx, 0)) < 0)
	{
		TRACE("查找输入流信息失败.\n");
		return -1;
	}
	//获取音视频流通道ID
	for (int i = 0; i < inFormatCtx->nb_streams; i++){

		if (inFormatCtx->streams[i]->codecpar->codec_type == AVMEDIA_TYPE_VIDEO)
		{
			videoIndex = i;
		}
		
	}

	TRACE("视频流通道索引%d\n", videoIndex);
	//初始化并打开视频解码器
	vDecodec = avcodec_find_decoder(inFormatCtx->streams[videoIndex]->codecpar->codec_id);
	vDecodeCtx = avcodec_alloc_context3(vDecodec);
	avcodec_parameters_to_context(vDecodeCtx, inFormatCtx->streams[videoIndex]->codecpar);
	avcodec_open2(vDecodeCtx, vDecodec, 0);

	av_dump_format(inFormatCtx, 0, inFileName, 0);

	//解码后的原始视频帧
	AVFrame *deVideoFrame = av_frame_alloc();
	//缩放后的视频帧
	AVFrame bgrFrame = { 0 };
	bgrFrame.width = 960;
	bgrFrame.height = 540;
	bgrFrame.format = AV_PIX_FMT_BGR24;
	int bgrFrameSize = av_image_get_buffer_size((AVPixelFormat)bgrFrame.format, bgrFrame.width, bgrFrame.height, 1);
	bgrBuff = (uint8_t*)av_malloc(bgrFrameSize);
	av_image_fill_arrays(bgrFrame.data, bgrFrame.linesize, bgrBuff, (AVPixelFormat)bgrFrame.format, bgrFrame.width, bgrFrame.height, 1);
	//获取图像转换上下文
	bgrSwsCtx = sws_getContext(vDecodeCtx->width, vDecodeCtx->height, vDecodeCtx->pix_fmt, bgrFrame.width, bgrFrame.height, (AVPixelFormat)bgrFrame.format, SWS_BICUBIC, NULL, NULL, NULL);

	//获取开始时间
	startTime = av_gettime();
	while (isRunning)
	{
		ret = av_read_frame(inFormatCtx, &normalPkt);
		if (ret < 0){
			break;
		}

		//当数据包时间快于当前时间则延当延时
		currentTime = (av_gettime() - startTime) / 1000;
		if (normalPkt.pts > currentTime){
			Sleep(normalPkt.pts - currentTime);
		}

		if (normalPkt.stream_index == videoIndex)
		{
			ret = avcodec_send_packet(vDecodeCtx, &normalPkt);
			ret = avcodec_receive_frame(vDecodeCtx, deVideoFrame);
			av_packet_unref(&normalPkt);
			ret = sws_scale(bgrSwsCtx, (const uint8_t* const*)deVideoFrame->data, deVideoFrame->linesize, 0, deVideoFrame->height, bgrFrame.data, bgrFrame.linesize);
			srcMat = cv::Mat(bgrFrame.height, bgrFrame.width, CV_8UC3, bgrFrame.data[0]);
			imshow("viceo", srcMat);
			cv::waitKey(10);
			//mainDlg->drawMatOfPlay(srcMat);
			//av_frame_unref(deVideoFrame);
		}
	}


	av_dict_free(&options);
	avformat_close_input(&inFormatCtx);
	isRunning = false;
	return 0;
}

6.先不用管那么多，先运行起来看看效果吧。如果能弹出窗口显示图像则表示连接rtmp服务器成功并成功拿到视频数据。

7.上面的视频显示是利用openCV的内置函数来imshow来实现的，会弹出一个新的窗口，这样会显得会怪异。为了让视频显示在MFC对话框中，需要先在对话框中添加一个名为IDC_playPic的Picture Control 控件，并加入显示函数：

void CdemoDlg::drawMatOfPlay(cv::Mat &img)
{
	CDC *playCDC;
	CRect rectForPlay;
	cv::Mat scaleMatForPlay;
	playCDC = myWnd->GetDlgItem(IDC_playPic)->GetDC();
	myWnd->GetDlgItem(IDC_playPic)->GetClientRect(&rectForPlay);
	cv::resize(img, scaleMatForPlay, cv::Size(rectForPlay.Width(), rectForPlay.Height()));	
	switch (scaleMatForPlay.channels())
	{
	case 1:
		cv::cvtColor(scaleMatForPlay, scaleMatForPlay, CV_GRAY2BGRA);
		break;
	case 3:
		cv::cvtColor(scaleMatForPlay, scaleMatForPlay, CV_BGR2BGRA); 
		break;
	default:
		break;
	}

	int pixelBytes = scaleMatForPlay.channels()*(scaleMatForPlay.depth() + 1);
	
	BITMAPINFO bitInfo;
	bitInfo.bmiHeader.biBitCount = 8 * pixelBytes;
	bitInfo.bmiHeader.biWidth = scaleMatForPlay.cols;
	bitInfo.bmiHeader.biHeight = -scaleMatForPlay.rows;
	bitInfo.bmiHeader.biPlanes = 1;
	bitInfo.bmiHeader.biSize = sizeof(BITMAPINFOHEADER);
	bitInfo.bmiHeader.biCompression = BI_RGB;
	bitInfo.bmiHeader.biClrImportant = 0;
	bitInfo.bmiHeader.biClrUsed = 0;
	bitInfo.bmiHeader.biSizeImage = 0;
	bitInfo.bmiHeader.biXPelsPerMeter = 0;
	bitInfo.bmiHeader.biYPelsPerMeter = 0;	
	StretchDIBits(
		playCDC->GetSafeHdc(),
		0, 0, rectForPlay.Width(), rectForPlay.Height(),
		0, 0, rectForPlay.Width(), rectForPlay.Height(),
		scaleMatForPlay.data,
		&bitInfo,
		DIB_RGB_COLORS,
		SRCCOPY
		);
	ReleaseDC(playCDC);
}

8.在fmlp.cpp中调用显示函数：

//imshow("viceo", srcMat);
//cv::waitKey(10);
mainDlg->drawMatOfPlay(srcMat);
av_frame_unref(deVideoFrame);

再次运行，效果立现：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/281236.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

解决IDEA 不能正确识别系统环境变量的问题

解决IDEA 不能正确识别系统环境变量的问题

问题描述 本人laptop 上的是设置了GOOGLE_APPLICATION_CREDENTIALS 这个环境变量的&#xff0c; 正常java or python 的程序能基于这个环境变量使用 某个gcp service account 去访问GCP的资源 [gatemanmanjaro-x13 ~]$ env | grep -i google GOOGLE_APPLICATION_CREDENTIALS/…
阅读更多...
ubuntu 安装apisix -亲测可用

ubuntu 安装apisix -亲测可用

官方未提供在ubuntu系统中安装apisix的方式&#xff0c;似乎只能通过源码方式安装&#xff0c;但是并不推荐&#xff0c;非常容易失败&#xff0c; 具体操作方式如下&#xff1a; ubuntu和Debian其实类似的&#xff0c;可使用DEB方式安装&#xff0c;如下截图 注意&#xff1…
阅读更多...
年度总结｜存储随笔2023年度最受欢迎文章榜单TOP15-part2

年度总结｜存储随笔2023年度最受欢迎文章榜单TOP15-part2

TOP11&#xff1a;PCIe在狂飙&#xff0c;SAS存储之路还有多远&#xff1f; 随着科技的飞速发展&#xff0c;固态硬盘&#xff08;SSD&#xff09;已经成为现代计算机系统中不可或缺的一部分。它以其出色的性能和可靠性&#xff0c;改变了我们对于存储设备的期待。当前业内SSD广…
阅读更多...
通用定时器PWM波输出原理

通用定时器PWM波输出原理

1通用PWM波输出原理 总结&#xff1a;PWM波周期或频率由ARR决定&#xff0c;PWM波占空比由CCRx决定 1通用PWM模式 1.1PWM模式1 PWM模式1&#xff1a; 递增&#xff1a;CNT < CCRx&#xff0c;输出有效电平1 CNT > CCRx&#xff0c;输出无效电平0 递减&#xff1a;CNT …
阅读更多...
Python面向对象编程 —— 类和异常处理

Python面向对象编程 —— 类和异常处理

​ &#x1f308;个人主页: Aileen_0v0 &#x1f525;热门专栏: 华为鸿蒙系统学习|计算机网络|数据结构与算法 &#x1f4ab;个人格言:"没有罗马,那就自己创造罗马~" 目录 1. 类 1.1 类的定义 1.2 类变量和实例变量 1.3 类的继承 2. 异常处理 2.1类型异常 2.…
阅读更多...
fiddler菜单汉化补丁

fiddler菜单汉化补丁

【Fiddler汉化补丁下载地址】 一、手机应用市场下载“头条搜索极速版”app 二、头条搜索极速版中搜索“葫芦娃指南”获取 三、汉化过程完整过程 1、安装Fiddler英文版 2、比如我将Fiddler安装在&#xff1a;D:\Programs\Fiddler 3、将【fiddler汉化】文件夹中的FiddlerT…
阅读更多...
2024年【茶艺师（初级）】考试技巧及茶艺师（初级）试题及解析

2024年【茶艺师（初级）】考试技巧及茶艺师（初级）试题及解析

题库来源&#xff1a;安全生产模拟考试一点通公众号小程序 茶艺师&#xff08;初级&#xff09;考试技巧是安全生产模拟考试一点通生成的&#xff0c;茶艺师&#xff08;初级&#xff09;证模拟考试题库是根据茶艺师&#xff08;初级&#xff09;最新版教材汇编出茶艺师&#…
阅读更多...
【基于VirtualBox及openEuler20.03 TLS SP1编译openGauss2.1.0源码】

【基于VirtualBox及openEuler20.03 TLS SP1编译openGauss2.1.0源码】

【openEuler 20.03 TLS编译openGauss2.1.0源码】 一、安装环境二、安装步骤 一、安装环境 项目Value虚拟机virtualbox操作系统openEuler 20.03 TLSopenGauss2.1.0openGauss-third_party2.1.0 二、安装步骤 以下操作需要在root用户下执行 编辑/etc/selinux/config vim /etc/s…
阅读更多...
分享一个学习Typescript最全的Github网站

分享一个学习Typescript最全的Github网站

一个专注研究Typescript的网站&#xff0c;&#x1f396;&#x1f396;&#x1f396;在这里你可以全面深入学习Typescript相关知识,通过动画方式讲解TS&#xff0c;还有很多常见问题解答。你还可以挑战相应的题目&#xff0c;快来学习吧 我就懒一点&#xff0c;直接原滋原味的…
阅读更多...
跟踪SEO性能

跟踪SEO性能

他们说&#xff0c;如果你能衡量一些东西&#xff0c;你就可以改进它。 在SEO中&#xff0c;也不例外。专业的SEO跟踪从排名和转化到丢失链接等的所有内容&#xff0c;以帮助证明SEO的价值。衡量你的工作和持续改进的影响&#xff0c;对于你的SEO成功、客户保留和感知价值至关…
阅读更多...
工智能基础知识总结--什么是CNN

工智能基础知识总结--什么是CNN

什么是CNN 卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一。CNN最常用于CV领域，但是在NLP等其他领域也有应用，如用于文本分类的TextCNN。 …
阅读更多...
搞知识竞赛活动要做哪些准备工作

搞知识竞赛活动要做哪些准备工作

举办知识竞赛&#xff0c;大量的精力和时间投入是在筹划准备阶段。诸如竞赛的策划布置、题库的设计建立、参赛人员的复习准备、竞赛器具的购置、赛场的布置安装、对各环节的督促检验等一系列工作&#xff0c;都是在此期间进行和完成的。无论哪一环节出现疏漏偏差&#xff0c;都…
阅读更多...
如何通过易舟云财务软件，查看账簿的总账？

如何通过易舟云财务软件，查看账簿的总账？

如何通过易舟云财务软件&#xff0c;查看账簿的总账&#xff1f; 前言财务软件操作步骤 前言 总账是会计中的一个重要概念&#xff0c;是指记录一个企业在一定时期内所有经济业务活动的账簿。总账记录了企业的资产、负债、所有者权益、收入和费用等各项会计科目的变动情况。 …
阅读更多...
MySQL多表查询的方法（含例子）

MySQL多表查询的方法（含例子）

我们查两张及以上表的时候&#xff0c;普通的查询语法(select * from 表名&#xff09;不能发挥作用。下面我演示两张表和三张表的查询方法。 前提&#xff1a; 如图存在三张表a&#xff0c;b&#xff0c;c&#xff1a;a表是学生基础信息&#xff0c;b表是教师学科信息&#…
阅读更多...
记录：可以观察模板实例化后代码的在线网站

记录：可以观察模板实例化后代码的在线网站

C Insights
阅读更多...
【Python特征工程系列】教你利用XGBoost模型分析特征重要性（源码）

【Python特征工程系列】教你利用XGBoost模型分析特征重要性（源码）

这是Python特征工程系列原创文章&#xff0c;我的第186篇原创文章。 一、问题 应用背景介绍&#xff1a; 如果有一个包含数十个甚至数百个特征的数据集&#xff0c;每个特征都可能对你的机器学习模型的性能有所贡献。但是并不是所有的特征都是一样的。有些可能是冗余的…
阅读更多...
LDO线性稳压器与开关电源的原理

LDO线性稳压器与开关电源的原理

线性稳压器LDO典型代表&#xff1a;LM7805 ,AMS1117&#xff0c;还有一下性能比较好的LDO&#xff1a; 开关稳压器典型代表&#xff1a;LM2596&#xff0c;MP1584,TPS5430&#xff0c;MP2315S LDO靠发热分散能量&#xff0c;纹波较小一般在30mv以下&#xff1b;DCDC通过开关开断…
阅读更多...
HikvisionCamera开发-萤石云RTMP协议获取视频流

HikvisionCamera开发-萤石云RTMP协议获取视频流

RTMP/RTSP&#xff08;实时流传输协议&#xff09;是一种网络协议&#xff0c;旨在用于传输音频和视频数据。本文将介绍如何在HikvisionCamera二次开发中如何通过RTMP协议获得实时视频流&#xff0c;使用到的摄像头为POE供电的海康威视-臻全彩款&#xff0c;以及套餐内配套录像…
阅读更多...
机器学习系列--R语言随机森林进行生存分析（1）

机器学习系列--R语言随机森林进行生存分析（1）

随机森林&#xff08;Breiman 2001a&#xff09;&#xff08;RF&#xff09;是一种非参数统计方法&#xff0c;需要没有关于响应的协变关系的分布假设。RF是一种强大的、非线性的技术&#xff0c;通过拟合一组树来稳定预测精度模型估计。随机生存森林&#xff08;RSF&#xff0…
阅读更多...
游戏任务系统实现思路

游戏任务系统实现思路

文章目录 一、需求介绍二、数据库设计3、代码部分实现 一、需求介绍 1、首先任务的类型不同&#xff0c;可以分为&#xff1a;日常任务、成长任务、活动任务等等。 2、当达到任务目标时&#xff0c;自动发放任务奖励。 3、任务需要后台可配置&#xff0c;例如&#xff1a;任务…
阅读更多...
最新文章

Copyright @ 2022~2023