libVLC 提取视频帧使用QWidget渲染

在前面的文章中,我们使用libvlc_media_player_set_hwnd设置了视频的显示的窗口。

libvlc_media_player_set_hwnd(vlc_mediaPlayer, (void *)ui.widgetShow->winId());

如果我们想要提取每一帧数据,将数据渲染到QWidget上,该如何操作呢?

以下是操作流程:

1.初始化 libVLC 实例。

vlc_base = libvlc_new(0, NULL);

2.创建一个媒体播放器。

	vlc_media = libvlc_media_new_path(vlc_base, filename.toUtf8().data());
	if (!vlc_media) {
		return;
	}

	// 创建libvlc实例和媒体播放器
	vlc_mediaPlayer = libvlc_media_player_new_from_media(vlc_media);
	if (!vlc_mediaPlayer) {
		return;
	}

3.设置视频回调。

	libvlc_video_set_format_callbacks(vlc_mediaPlayer, setup, NULL);
	
	// 设置自定义视频输出
	libvlc_video_set_callbacks(vlc_mediaPlayer, lock, unlock, display, NULL);

4.提取视频帧数据,创建QImage对象。

//保存100~110帧
static void unlock(void *opaque, void *picture, void *const *planes) {
	// 这里可以释放视频帧的锁

	char *buffer = (char *)*planes; //planes即为帧数据
	QImage image((unsigned char*)buffer, g_frame->width, g_frame->height, QImage::Format_ARGB32);
	m_this->updatePic(image);

	g_frame->mutex.unlock();
}

5.使用QLabel加载QImage对象,或者使用QWidget的绘图事件,绘制QImage在QWidget上。

这里使用QLabel加载。

void showWidget::slotUpdate(const QImage &image)
{
	ui.lbImage->setPixmap(QPixmap::fromImage(image));
}

这里介绍libvlc_video_set_callbacks的lock和unlock两个回调。更多的回调介绍请看

libVLC 提取视频帧-CSDN博客

以下是libvlc_video_lock_cb声明。

typedef void *(*libvlc_video_lock_cb)(void *opaque, void **planes);
  • opaque是一个用户数据指针,libvlc_video_set_callbacks最后一个参数会传递给lock。
  • planes是一个指向指针的指针,它指向一个指针数组,每个指针指向一个视频平面(对于 YUV 格式,通常有三个平面:Y、U 和 V)。对于 RGB 格式,通常只有一个平面。
  • 返回值传递给unlock的参数2。

如果应用程序需要在视频渲染前对视频帧进行一些处理,那么可以在libvlc_video_lock_cb中进行这些处理,并将处理后的帧数据地址赋值给 *planes。

以下是libvlc_video_unlock_cb声明。

typedef void (*libvlc_video_unlock_cb)(void *opaque, void *picture,
                                       void *const *planes);
  • opaque是一个用户数据指针,libvlc_video_set_callbacks最后一个参数会传递给lock。
  • picture是libvlc_video_lock_cb返回值。
  • planes是平面像素数据。

以下是ui界面设计。

运行结果:

代码示例:

#pragma once

#include <QtWidgets/QWidget>
#include "ui_showWidget.h"
#include <QMenu>
#include <QActionGroup>
#include <vlc/vlc.h>
#include <QDebug>
#include <QFileDialog>
#include <QThread>
#include <QMouseEvent>
#include <QKeyEvent>

enum Rate
{
	Rate2X,
	Rate1_5X,
	Rate1_25X,
	Rate1_0X,
	Rate0_75X,
	Rate0_5X
};

class showWidget : public QWidget
{
    Q_OBJECT

public:
    showWidget(QWidget *parent = nullptr);
    ~showWidget();

public:
	void updatePic(const QImage &image);

private slots:
	void slotOpenFile();
	void slotPlay();
	void slotPause();
	void slotStop();
	void slotValueChanged(int value);
	void slotCurrentIndexChanged(int index);

private:
	//事件处理回调
	static void vlcEvents(const libvlc_event_t *ev, void *param);

private:
    Ui::showWidgetClass ui;

private:
	libvlc_instance_t *vlc_base = nullptr;
	libvlc_media_t *vlc_media = nullptr;
	libvlc_media_player_t *vlc_mediaPlayer = nullptr;

	QList<float> m_lstRate;
    QList<QString> m_lstAudioDevice;
};
  • 这里使用声明了static showWidget* m_this = nullptr。
  • 在构造函数中使用m_this = this赋值。
  • 在unlock回调中构造好QImage对象,使用m_this->updatePic(image)更新界面。

cpp源码。 

#include "showWidget.h"
#include <QTimer>
#include <QTime>
#include <QMutex>
#include <stdlib.h> 

#pragma execution_character_set("utf-8")

static showWidget* m_this = nullptr;

struct Frame 
{
	int     width;
	int     height;
	uchar * pixels;
	QMutex mutex;
};


static Frame *g_frame = nullptr;

// 自定义视频输出模块的回调函数
static void *lock(void *opaque, void **planes) {
	g_frame->mutex.lock();
	*planes = g_frame->pixels;

	return 0;
}

//保存100~110帧
static void unlock(void *opaque, void *picture, void *const *planes) {
	// 这里可以释放视频帧的锁

	char *buffer = (char *)*planes; //planes即为帧数据
	QImage image((unsigned char*)buffer, g_frame->width, g_frame->height, QImage::Format_ARGB32);
	m_this->updatePic(image);

	g_frame->mutex.unlock();
}

static void display(void *opaque, void *picture) {
	// 这里可以进行视频帧的显示或其他处理
	(void)opaque;
}


static unsigned setup(void **opaque, char *chroma,
	unsigned *width, unsigned *height,
	unsigned *pitches,
	unsigned *lines)
{
	qDebug() << "chroma:" << QString(chroma) << "width:" << *width << ", height:" << *height;

	/* 开辟存放图像数据的内存块 */
	if (g_frame)
	{
		if (g_frame->pixels)
		{
			delete[] g_frame->pixels;
			g_frame->pixels = NULL;
		}

		delete g_frame;
		g_frame = NULL;
	}

	int w = *width;
	int h = *height;
	g_frame = new Frame;
	g_frame->pixels = new uchar[w * h * 4]; // 申请大小也为4通道的像素

	memset(g_frame->pixels, 0, w * h * 4);
	memcpy(chroma, "RV32", 4);
	g_frame->width = w;
	g_frame->height = h;
	*pitches = w * 4;
	*lines = h;

	return 1;
}

showWidget::showWidget(QWidget *parent)
    : QWidget(parent)
{
    ui.setupUi(this);

	m_this = this;
	this->setWindowTitle("视频播放器");

	vlc_base = libvlc_new(0, NULL);

	ui.cbxRate->setCurrentIndex(Rate1_0X);

	m_lstRate << 2.0 << 1.5 << 1.25 << 1.0 << 0.75 << 0.5;

	ui.btnOpen->setFocusPolicy(Qt::NoFocus);
	ui.btnPlay->setFocusPolicy(Qt::NoFocus);
	ui.btnPause->setFocusPolicy(Qt::NoFocus);
	ui.btnStop->setFocusPolicy(Qt::NoFocus);
	ui.hSliderVolumn->setFocusPolicy(Qt::NoFocus);
	ui.cbxRate->setFocusPolicy(Qt::NoFocus);

	connect(ui.btnOpen, &QPushButton::clicked, this, &showWidget::slotOpenFile);
	connect(ui.btnPlay, &QPushButton::clicked, this, &showWidget::slotPlay);
	connect(ui.btnPause, &QPushButton::clicked, this, &showWidget::slotPause);
	connect(ui.btnStop, &QPushButton::clicked, this, &showWidget::slotStop);
	connect(ui.hSliderVolumn, &QSlider::valueChanged, this, &showWidget::slotValueChanged);
	connect(ui.cbxRate,SIGNAL(currentIndexChanged(int)), this, SLOT(slotCurrentIndexChanged(int)));
}

showWidget::~showWidget()
{
	libvlc_release(vlc_base); //减少libvlc实例的引用计数,并销毁
}


void showWidget::updatePic(const QImage &image)
{
	ui.lbImage->setPixmap(QPixmap::fromImage(image));
}

void showWidget::slotOpenFile()
{
	/*选择文件*/
	QString filename = QFileDialog::getOpenFileName(this, "选择打开的文件", "D:/", tr("*.*"));
	std::replace(filename.begin(), filename.end(), QChar('/'), QChar('\\'));

	vlc_media = libvlc_media_new_path(vlc_base, filename.toUtf8().data());
	if (!vlc_media) {
		return;
	}

	// 创建libvlc实例和媒体播放器
	vlc_mediaPlayer = libvlc_media_player_new_from_media(vlc_media);
	if (!vlc_mediaPlayer) {
		return;
	}

	libvlc_video_set_format_callbacks(vlc_mediaPlayer, setup, NULL);
	
	// 设置自定义视频输出
	libvlc_video_set_callbacks(vlc_mediaPlayer, lock, unlock, display, NULL);
	
	// 等待元数据加载完成
	libvlc_media_parse(vlc_media);
	
	// 获取各种元数据
	const char *title = libvlc_media_get_meta(vlc_media, libvlc_meta_Title);
	const char *artist = libvlc_media_get_meta(vlc_media, libvlc_meta_Artist);
	const char *album = libvlc_media_get_meta(vlc_media, libvlc_meta_Album);
	const char *url = libvlc_media_get_meta(vlc_media, libvlc_meta_URL);
	const char *date = libvlc_media_get_meta(vlc_media, libvlc_meta_Date);
	const char *lang = libvlc_media_get_meta(vlc_media, libvlc_meta_Language);
	int duration = libvlc_media_get_duration(vlc_media);  // 获取时长(单位:毫秒)

	qDebug("Title: %s", title ? title : "N/A");
	qDebug("Artist: %s", artist ? artist : "N/A");
	qDebug("Album: %s", album ? album : "N/A");
	qDebug("Duration: %d ms", duration);
	qDebug("url: %s", url ? url : "N/A");
	qDebug("date: %s", date ? date : "N/A");
	qDebug("lang: %s", lang ? lang : "N/A");
	
	libvlc_media_track_t **tracks;
	int track_count = libvlc_media_tracks_get(vlc_media,&tracks);
	for (unsigned i = 0; i < track_count; i++) 
	{
		libvlc_media_track_t* track = tracks[i];

		// 显示轨道信息
		printf("Track #%u: %s\n", i, track->psz_description);

		// 这里可以获取到每一个轨道的信息,比如轨道类型 track->i_type
		// 可能是 libvlc_track_video, libvlc_track_audio 或者 libvlc_track_text (字幕)

		if (track->i_type == libvlc_track_video) {
			// 处理视频轨道信息
			qDebug("width = %d",track->video->i_width);
			qDebug("height = %d", track->video->i_height);
			qDebug("rate_num = %d", track->video->i_frame_rate_num);
			qDebug("rate_den = %d", track->video->i_frame_rate_den);
		}
		else if (track->i_type == libvlc_track_audio) {
			// 处理音频轨道信息
			qDebug("channels = %d", track->audio->i_channels);
			qDebug("rate = %d", track->audio->i_rate);
		}
		else if (track->i_type == libvlc_track_text) {
			// 处理字幕轨道信息
		}
	}

	//获取事件管理器
	libvlc_event_manager_t *em = libvlc_media_player_event_manager(vlc_mediaPlayer);

	// 注册事件监听器
	libvlc_event_attach(em, libvlc_MediaPlayerTimeChanged, vlcEvents, this);
	libvlc_event_attach(em, libvlc_MediaPlayerEndReached, vlcEvents, this);
	libvlc_event_attach(em, libvlc_MediaPlayerStopped, vlcEvents, this);
	libvlc_event_attach(em, libvlc_MediaPlayerPlaying, vlcEvents, this);
	libvlc_event_attach(em, libvlc_MediaPlayerPaused, vlcEvents, this);

	QTimer::singleShot(1000, this, &showWidget::slotPlay);
	libvlc_video_filter_list_get(vlc_base);
}

void showWidget::slotPlay()
{
	if (vlc_mediaPlayer)
	{
		libvlc_media_player_play(vlc_mediaPlayer);
	}
}

void showWidget::slotPause()
{
	if (vlc_mediaPlayer)
		libvlc_media_player_pause(vlc_mediaPlayer);
}

void showWidget::slotStop()
{
	if (vlc_mediaPlayer)
		libvlc_media_player_stop(vlc_mediaPlayer);
}

void showWidget::slotValueChanged(int value)
{
	if (vlc_mediaPlayer)
		libvlc_audio_set_volume(vlc_mediaPlayer, value);
}

void showWidget::slotCurrentIndexChanged(int index)
{
	if (vlc_mediaPlayer)
		libvlc_media_player_set_rate(vlc_mediaPlayer, m_lstRate[index]);
}

//事件回调
void showWidget::vlcEvents(const libvlc_event_t *ev, void *param)
{
	showWidget *w = (showWidget*)param;
	//处理不同的事件
	switch (ev->type) {
	case libvlc_MediaPlayerTimeChanged:
	{
		//qDebug() << "VLC媒体播放器时间已更改";
		qint64 len = libvlc_media_player_get_time(w->vlc_mediaPlayer);
		libvlc_time_t lenSec = len / 1000;

		libvlc_time_t totalLen = libvlc_media_player_get_length(w->vlc_mediaPlayer);
		libvlc_time_t totalLenSec = totalLen / 1000;

		int thh, tmm, tss;
		thh = lenSec / 3600;
		tmm = (lenSec % 3600) / 60;
		tss = (lenSec % 60);
		QTime time(thh, tmm, tss);
		w->ui.lbCurTime->setText(time.toString("hh:mm:ss"));

		thh = totalLenSec / 3600;
		tmm = (totalLenSec % 3600) / 60;
		tss = (totalLenSec % 60);
		QTime TotalTime(thh, tmm, tss);
		w->ui.lbTotalTime->setText(TotalTime.toString("hh:mm:ss"));

		double pos = (double)lenSec / totalLenSec * 100;
		w->ui.horizontalSlider->setValue(pos);
	}
		break;
	case libvlc_MediaPlayerEndReached:
		qDebug() << "VLC播放完毕.";
		break;
	case libvlc_MediaPlayerStopped:
		qDebug() << "VLC停止播放";
		break;
	case libvlc_MediaPlayerPlaying:
		qDebug() << "VLC开始播放";
		break;
	case libvlc_MediaPlayerPaused:
		qDebug() << "VLC暂停播放";
		break;
	}
}

经过上面的步骤我们已经完成了整个视频的渲染,我们不停的生成的是 QImage 对象,因此对 CPU 负荷较高。其实在绘制这块我们可以使用 Opencv 或者 openGL 去绘制,利用 GPU 减轻 CPU 计算负荷。下一节使用openGL进行绘制,减轻CPU的压力。

更多参考:

libVLC 添加图片和文本水印-CSDN博客

libVLC 音频输出设备切换-CSDN博客

libVLC 音频立体声模式切换-CSDN博客

libVLC 提取视频帧-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/526502.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

西圣、漫步者、万魔开放式耳机怎么样?无广真实测评对比推荐

开放式耳机因其独特的音质体验和佩戴舒适度&#xff0c;受到了越来越多消费者的青睐。西圣、漫步者、万魔作为国内知名的耳机品牌&#xff0c;各自都推出了自家的开放式耳机产品&#xff0c;那么&#xff0c;这三款耳机究竟如何呢&#xff1f;身为开放式耳机党的我&#xff0c;…

小白如何挖到自己的第一个漏洞

目录 挖洞公式 个人介绍 我的技术与生活——小站首页 | Hexohttps://xiaoyunxi.wiki/ 漏洞介绍 漏洞详情 如何进行信息收集(最快捷) 方法1(Google Hacking) 0x01 常见Google语法 0x02 不是经常用的关键字 0x03 特殊符号使用 0x04 布尔操作 0x05注意事项 0x06 使用…

【C++ STL算法】sort 排序

文章目录 【 1. 基本原理 】【 2. sort 的应用 】实例 - sort 函数实现 升序排序和降序排序 函数名用法sort (first, last)基于 快速排序&#xff0c;对容器或普通数组中 [ first, last ) 范围内的元素进行排序&#xff0c;默认进行升序排序&#xff08;从小到大&#xff09;。…

在linux上面安装nexus私有maven库

问题 需要在EC2机器上面安装私有maven库。 步骤 更新OS sudo yum update -yJDK11 # 安装JDK11 sudo yum install java-11-amazon-corretto # 查询jdk11位置 sudo alternatives --config java内容如下&#xff1a; There are 2 programs which provide java.Selection …

用动态IP采集数据总是掉线是为什么?该怎么解决?

动态IP可以说是做爬虫、采集数据、搜集热门商品信息中必备的代理工具&#xff0c;但在爬虫的使用中&#xff0c;总是会遇到动态IP掉线的情况&#xff0c;从而影响使用效率&#xff0c;本文将探讨动态IP代理掉线的几种常见原因&#xff0c;并提供解决方法&#xff0c;以帮助大家…

libVLC 提取视频帧使用OpenGL渲染

在上一节中&#xff0c;我们讲解了如何使用QWidget渲染每一帧视频数据。 由于我们不停的生成的是QImage对象&#xff0c;因此对 CPU 负荷较高。其实在绘制这块我们可以使用 OpenGL去绘制&#xff0c;利用 GPU 减轻 CPU 计算负荷&#xff0c;本节讲解使用OpenGL来绘制每一帧视频…

ctfshow web入门 php特性 web108--web115

web108 ereg函数相当于而preg_match()函数 ereg函数的漏洞&#xff1a;00截断。%00截断及遇到%00则默认为字符串的结束 strrev函数就是把字符串倒过来 就是说intval处理倒过来的传参c0x36d&#xff08;877&#xff09;?ca%00778 web109 异常处理类 通过异常处理类Excepti…

国外动态住宅IP代理的五大优势

在当前的数字时代&#xff0c;随着网络监控和地理限制的日益增强&#xff0c;国外动态住宅IP代理成为了解决这些问题的关键工具。它不仅能够保护用户的个人隐私&#xff0c;提供高度的匿名性&#xff0c;还能轻松突破访问限制&#xff0c;让全球的内容触手可及。对于数据科学家…

Vue+OpenLayers7入门到实战:OpenLayers加载WFS服务的要素资源数据并叠加到地图上

返回《Vue+OpenLayers7》专栏目录:Vue+OpenLayers7入门到实战 前言 本章讲解如何使用OpenLayers6加载WFS服务的要素资源数据并叠加到地图上的功能。 WFS规范介绍 WFS是基于地理要素级别的数据共享和数据操作,WFS规范定义了若干基于地理要素(Feature)级别的数据操作接口…

PL2303HXA自2012已停产,请联系供货商的解决方法

一、概述 Win10不支持PL2303HXA usb串口&#xff0c;当管理员做配置的时候发现无法查看端口信息&#xff0c;设备管理器提示&#xff1a;PL2303 HXA自2012已停产&#xff0c;请联系供货商。PL2303 是Prolific 公司生产的一种高度集成的RS232-USB接口转换器&#xff0c;可提供一…

(学习日记)2024.04.10:UCOSIII第三十八节:事件实验

写在前面&#xff1a; 由于时间的不足与学习的碎片化&#xff0c;写博客变得有些奢侈。 但是对于记录学习&#xff08;忘了以后能快速复习&#xff09;的渴望一天天变得强烈。 既然如此 不如以天为单位&#xff0c;以时间为顺序&#xff0c;仅仅将博客当做一个知识学习的目录&a…

微信多账号如何聚合聊天?

看这篇文章的你是否有以下烦恼&#xff1a; 1.微信账号太多&#xff0c;每次都要拿很多手机&#xff0c;管理起来很乱 2.微信号多&#xff0c;需要很多员工来管理&#xff0c;人工费用高 3.多个微信打开后会造成微信登陆界面过多&#xff0c;切换操作十分不方便 4.当微信多…

创建型模式--4.抽象工厂模式【弗兰奇一家】

1. 奔向大海 在海贼世界中&#xff0c;位于水之都的弗兰奇一家是由铁人弗兰奇所领导的以拆船为职业的家族&#xff0c;当然了他们的逆向工程做的也很好&#xff0c;会拆船必然会造船。船是海贼们出海所必备的海上交通工具&#xff0c;它由很多的零件组成&#xff0c;从宏观上看…

【案例·增】拼接字符串,增加字符型数据记录

问题描述&#xff1a; MySQL中的数据库表存在字符型(String)字段&#xff0c;要为其拼接信息以达成数据新增&#xff0c;可以使用 SQL 中的CONCAT()、CONCAT_WS()函数来处理 案例&#xff1a; #拼接字符串 SELECT CONCAT(HELLO, World);#举例&#xff1a;student学生表。sno…

为什么多数游戏服务端是用 C++ 来写呢,是历史原因还是性能方面的考虑?

游戏服务端开发语言的选择往往受到多方面因素的影响&#xff0c;其中C被广泛应用&#xff0c;这一现象的背后既包含了历史演进的原因&#xff0c;也凸显出性能至上的技术考量。 历史沿革 自上世纪80年代起&#xff0c;C语言便以其对C语言的兼容性、面向对象的特性以及对系统资…

搞懂LLM中的Token,看这一篇就够了

一、Token是什么&#xff1f; 1.1 Token一定表示一个汉字么&#xff1f; 下面这个例子中我让ChatGPT按照Token的划分粒度将“我喜欢苹果”进行倒序输出。 这个例子说明&#xff1a;Token既可能是一个单词&#xff0c;例如“苹果”&#xff0c;也可能是一个汉字&#xff0c;例…

新版本v24.1发布,私有网盘也能创建互联网对外分享链接了

24年龙年到来之际&#xff0c;我们发布了v24.1版本&#xff0c;其中商业版优先响应了客户期待已久的外网分享特性&#xff0c;现在客户既可以创建内网登录账号可用的分享链接&#xff0c;也可以安全地创建互联网可访问的公共链接&#xff0c;产品应用场景得到了延伸。而社区版则…

T-GATE:交叉注意力使文本到图像扩散模型中的推理变得麻烦

今天给大家带来最近一项非常有意思的研究通过计算出&#xff0c;交叉注意力的输出会趋向于一个固定点。 然后在保真度提升阶段忽略文本条件不仅可以减少计算的复杂性。并提出了TGATE这种简单而无需训练的方法&#xff0c;用于高效地生成图像。 TGATE的做法是&#xff0c;一旦交…

【利器篇】前端40+精选VSCode插件,总有几个你未拥有!

前言 姊妹篇&#xff1a; 【利器篇】35精选chrome插件&#xff0c;含15前端插件&#xff0c;总有一款值得你停留 关于关于 【前端工具系列】&#xff1a; 有句话&#xff0c;事半功倍&#xff0c;其必然是借助了某些思想和工具。 VSCode是我们前端开发的武器&#xff0c;本文…

软件设计师-基础知识科目-数据结构3

三、 数据结构&#xff1a; 时间复杂度&#xff1a; 背复杂度对应的代码。Tips&#xff1a;时间复杂度估算看最内层循环&#xff0c;如若没有循环和递归则为O&#xff08;1&#xff09;。 空间复杂度&#xff1a; 需要单独空间存储数据时使用。考点&#xff1a;非递归的空间…