linux下ffmpeg调用GPU硬件解码(VDPAU/VAAPI)保存文件

本文讲解在linux下面,如何通过ffmpeg调用GPU硬件解码,并保存解码完的yuv文件。
其实,ffmpeg自带的例子hw_decode.c这个文件,就已经能满足要求了,因此,本文就尝试讲解以下hw_decode这个例子。hw_decode.c可以调用VDPAU硬件解码,也可以调用VAAPI硬件解码,下面依次讲解如何进行操作。

下载hw_decode.c文件

我是从网上直接下载ffmpeg源码,下载地址如下:https://ffmpeg.org/releases/ffmpeg-4.2.9.tar.bz2
我这里下载的是4.2.9的源码,然后解压缩之后,在ffmpeg-4.2.9/doc/examples/hw_decode.c路径,就保存了我们需要的hw_decode.c文件。

搭建开发环境

搭建开发环境分2种,一种是直接使用系统自带的软件源里面的软件包进行开发,另外一种就是自己重新编译ffmpeg并进行开发,这两种选一种就可以了。推荐使用软件源的软件包进行开发,因为相对简单一些。下面分别讲解如何操作。

使用软件源的软件包进行开发

需要安装的依赖项如下,我这里是deb系列安装方式。

sudo apt install libvdpau-dev libva-dev ffmpeg libavcodec-dev libavformat-dev libavutil-dev

编译, cd 到ffmpeg-4.2.9/doc/examples目录,执行如下命令

gcc hw_decode.c -lavcodec -lavutil -lavformat -o hw_decode

就可以得到hw_decode这个可执行文件。

自己编译ffmpeg进行开发

自己编译ffmpeg,首先要下载ffmpeg源码,下载地址如下:https://ffmpeg.org/releases/ffmpeg-4.2.9.tar.bz2。
然后解压缩,cd ffmpeg-4.2.9,然后进行configure配置,如果你想使用VDPAU解码,那么configure命令如下

./configure --enable-shared --enable-vdpau

如果你想使用vaapi解码,那么configure命令如下

./configure --enable-shared --enable-vaapi

如果你vdpau和vaapi都想使用,那么进行如下configure。

./configure --enable-shared --enable-vdpau --enable-vaapi

然后,这里可能会遇到问题,可能就是没有安装vdpau开发包,或者没有安装vaapi开发包导致的,输入如下命令安装就可以了。

sudo apt install libvdpau-dev libva-dev 

然后再进行configure操作。
之后,再进行如下操作:

make -j8 
make examples 
sudo make install

其中,make -j8是使用8线程进行ffmpeg编译。
make examples,就是把ffmpeg所有的例子都编译,这样在ffmpeg-4.2.9/doc/exmaples目录,就会生成hw_decode这个可执行文件。
sudo make install,会将ffmpeg的动态库安装到/usr/local/lib下面,可执行文件安装到/usr/local/bin下面,头文件安装到/usr/local/include目录下面。

运行hw_decode例子

cd 到生成hw_decode的目录,如果使用vdpau解码,那么执行如下命令,你需要将第2个参数的视频路径,替换成你的视频路径。

./hw_decode vdpau ~/视频/210329_06B_Bali_1080p_013.mp4  ./out.yuv

如果使用vaapi解码,那么需要使用如下命令:

./hw_decode vaapi ~/视频/210329_06B_Bali_1080p_013.mp4  ./out.yuv

同样,需要将第2个参数替换成你的视频路径。
有的显卡,需要添加环境变量LIBVA_DRIVER_NAME。比如景嘉微JM9系列显卡,需要使用如下命令:

LIBVA_DRIVER_NAME=jmgpu ./hw_decode vaapi ~/视频/210329_06B_Bali_1080p_013.mp4  ./out.yuv

检验out.yuv结果

ffplay -pix_fmt nv12 -s 1920x1080 out.yuv

如上所示,使用ffmpeg自带的播放器ffplay,然后-pix_fmt 指定yuv格式, -s指定分辨率,然后播放。
在这里插入图片描述

hw_decode例子源码讲解

下面开始讲解代码,从main函数开始讲解。

int main(int argc, char *argv[])
{
    AVFormatContext *input_ctx = NULL;
    int video_stream, ret;
    AVStream *video = NULL;
    AVCodecContext *decoder_ctx = NULL;
    AVCodec *decoder = NULL;
    AVPacket packet;
    enum AVHWDeviceType type;
    int i;

    if (argc < 4) {
        fprintf(stderr, "Usage: %s <device type> <input file> <output file>\n", argv[0]);
        return -1;
    }

刚开始的一段,全是变量声明和定义,这些变量都是后面用的到的。然后if (argc < 4)这个判断,是用来判断使用方式的,下面的使用方式,正好是4个argc,第一个./hw_decode是程序名字,第2个参数vaapi表示使用的解码接口,第3个参数是视频路径,第4个参数是输出yuv路径。

./hw_decode vaapi ~/视频/210329_06B_Bali_1080p_013.mp4  ./out.yuv

如果argc < 4,那么提示使用方式,然后返回-1,程序结束。

    type = av_hwdevice_find_type_by_name(argv[1]);
    if (type == AV_HWDEVICE_TYPE_NONE) {
        fprintf(stderr, "Device type %s is not supported.\n", argv[1]);
        fprintf(stderr, "Available device types:");
        while((type = av_hwdevice_iterate_types(type)) != AV_HWDEVICE_TYPE_NONE)
            fprintf(stderr, " %s", av_hwdevice_get_type_name(type));
        fprintf(stderr, "\n");
        return -1;
    }

接下来,就是去寻找第2个参数对应的硬件解码类型,argv[1]就对应我们解码程序的参数"vdpau",或者"vaapi",如果找到了,就保存在变量type中,如果没找到,就通过一个while循环把支持的硬件类型列举,并打印出来,然后return -1程序退出。

    /* open the input file */
    if (avformat_open_input(&input_ctx, argv[2], NULL, NULL) != 0) {
        fprintf(stderr, "Cannot open input file '%s'\n", argv[2]);
        return -1;
    }

接下来,avformat_open_input,就是打开输入文件,在我这里,对应的就是打开“~/视频/210329_06B_Bali_1080p_013.mp4”这个文件,argv[2]就是输入视频路径,如果失败了,就返回-1,否则继续。

    if (avformat_find_stream_info(input_ctx, NULL) < 0) {
        fprintf(stderr, "Cannot find input stream information.\n");
        return -1;
    }

然后,查找视频文件里面的码流信息,一般就是找这个视频里面,有几个视频流,有几个音频流,如果没有找到因视频信息,就加一条错误打印,然后返回-1.

    /* find the video stream information */
    ret = av_find_best_stream(input_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, &decoder, 0);
    if (ret < 0) {
        fprintf(stderr, "Cannot find a video stream in the input file\n");
        return -1;
    }
    video_stream = ret;

接下来,查找AVMEDIA_TYPE_VIDEO,也就是查找视频流信息,并将视频流的索引号,保存在video_stream中。

    for (i = 0;; i++) {
        const AVCodecHWConfig *config = avcodec_get_hw_config(decoder, i);
        if (!config) {
            fprintf(stderr, "Decoder %s does not support device type %s.\n",
                    decoder->name, av_hwdevice_get_type_name(type));
            return -1;
        }
        if (config->methods & AV_CODEC_HW_CONFIG_METHOD_HW_DEVICE_CTX &&
            config->device_type == type) {
            hw_pix_fmt = config->pix_fmt;
            break;
        }
    }

接下来,就是通过一个循环,查找能支持的硬件格式对应的pix_fmt,比如我这里使用vaapi,那么通过AV_HWDEVICE_TYPE_VAAPI找到了pix_fmt为AV_PIX_FMT_VAAPI_VLD。
在这里插入图片描述

    if (!(decoder_ctx = avcodec_alloc_context3(decoder)))
        return AVERROR(ENOMEM);

    video = input_ctx->streams[video_stream];
    if (avcodec_parameters_to_context(decoder_ctx, video->codecpar) < 0)
        return -1;

	decoder_ctx->get_format  = get_hw_format;

继续,分配一个解码上下文 decoder_ctx,然后根据视频码流信息,填充decoder_ctx里面内容。
并将get_hw_format这个函数地址,给到decoder_ctx->get_format中,这样后续解码器解码时会调用这个get_fomat函数指针来对格式进行判断。

    if (hw_decoder_init(decoder_ctx, type) < 0)
        return -1;

初始化完了解码上下文,再初始化硬件解码器。

    if ((ret = avcodec_open2(decoder_ctx, decoder, NULL)) < 0) {
        fprintf(stderr, "Failed to open codec for stream #%u\n", video_stream);
        return -1;
    }

打开解码器。

    /* open the file to dump raw data */
    output_file = fopen(argv[3], "w+");

打开输出文件,这个argv[3],就对应我们命令行里面的out.yuv,就是打开这个文件,方便后面写入使用。

    /* actual decoding and dump the raw data */
    while (ret >= 0) {
        if ((ret = av_read_frame(input_ctx, &packet)) < 0)
            break;

        if (video_stream == packet.stream_index)
            ret = decode_write(decoder_ctx, &packet);

        av_packet_unref(&packet);
    }

重点戏来了,就是这个while循环,av_read_frame读取一帧数据,保存在packet中,然后判断以下这个packet的stream_index是不是video_stream,如果是视频数据,就调用decode_write,否则就什么也不做,处理完之后,调用av_packet_unref取消packet的引用。看来重点就在这个decode_write函数里面。

static int decode_write(AVCodecContext *avctx, AVPacket *packet)
{
    AVFrame *frame = NULL, *sw_frame = NULL;
    AVFrame *tmp_frame = NULL;
    uint8_t *buffer = NULL;
    int size;
    int ret = 0;

    ret = avcodec_send_packet(avctx, packet);
    if (ret < 0) {
        fprintf(stderr, "Error during decoding\n");
        return ret;
    }

decode_write拿到packet数据,调用avcodec_send_packet,将packet发送给解码器。


    while (1) {
        if (!(frame = av_frame_alloc()) || !(sw_frame = av_frame_alloc())) {
            fprintf(stderr, "Can not alloc frame\n");
            ret = AVERROR(ENOMEM);
            goto fail;
        }

        ret = avcodec_receive_frame(avctx, frame);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
            av_frame_free(&frame);
            av_frame_free(&sw_frame);
            return 0;
        } else if (ret < 0) {
            fprintf(stderr, "Error while decoding\n");
            goto fail;
        }

        if (frame->format == hw_pix_fmt) {
            /* retrieve data from GPU to CPU */
            if ((ret = av_hwframe_transfer_data(sw_frame, frame, 0)) < 0) {
                fprintf(stderr, "Error transferring the data to system memory\n");
                goto fail;
            }
            tmp_frame = sw_frame;
        } else
            tmp_frame = frame;

        size = av_image_get_buffer_size(tmp_frame->format, tmp_frame->width,
                                        tmp_frame->height, 1);
        buffer = av_malloc(size);
        if (!buffer) {
            fprintf(stderr, "Can not alloc buffer\n");
            ret = AVERROR(ENOMEM);
            goto fail;
        }
        ret = av_image_copy_to_buffer(buffer, size,
                                      (const uint8_t * const *)tmp_frame->data,
                                      (const int *)tmp_frame->linesize, tmp_frame->format,
                                      tmp_frame->width, tmp_frame->height, 1);
        if (ret < 0) {
            fprintf(stderr, "Can not copy image to buffer\n");
            goto fail;
        }

        if ((ret = fwrite(buffer, 1, size, output_file)) < 0) {
            fprintf(stderr, "Failed to dump raw data.\n");
            goto fail;
        }

    fail:
        av_frame_free(&frame);
        av_frame_free(&sw_frame);
        av_freep(&buffer);
        if (ret < 0)
            return ret;
    }

然后一个大的while循环,这里其实就是让解码器去解码,如果解码得到数据,就将数据从GPU显存拷贝到CPU内存,然后再写入out.yuv文件中。下面分开讲解。

    while (1) {
        if (!(frame = av_frame_alloc()) || !(sw_frame = av_frame_alloc())) {
            fprintf(stderr, "Can not alloc frame\n");
            ret = AVERROR(ENOMEM);
            goto fail;
        }

while的开始,分配了2个frame,第一个frame,是用来保存GPU解码完毕的数据,这个数据位于显存。第2个sw_frame是用来保存内存数据,用来将GPU显存的yuv数据拷贝到内存用的。

        ret = avcodec_receive_frame(avctx, frame);
        if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
            av_frame_free(&frame);
            av_frame_free(&sw_frame);
            return 0;
        } else if (ret < 0) {
            fprintf(stderr, "Error while decoding\n");
            goto fail;
        }

avcode_receive_frame,用来接受解码器传过来的frame数据,也就是如果解码器解码完了,会得到一个解码完毕的AVFrame数据,这个数据就保存在frame中。如果返回值为EAGAIN或者AVERROR_EOF,说明之前的packet并没有解码得到一个完整的AVFrame数据,因此需要把前面分配的2个frame和sw_frame都释放掉,然后返回0,说明这一个packet处理完毕了。如果ret 是其他值 < 0,说明解码出错了,goto fail。fail标签后面再说。

        if (frame->format == hw_pix_fmt) {
            /* retrieve data from GPU to CPU */
            if ((ret = av_hwframe_transfer_data(sw_frame, frame, 0)) < 0) {
                fprintf(stderr, "Error transferring the data to system memory\n");
                goto fail;
            }
            tmp_frame = sw_frame;
        } else
            tmp_frame = frame;

否则,我们解码得到了一帧数据,判断一下,这一帧数据的格式,如果格式正好是hw_pix_fmt,那么调用av_hwframe_transfer_data,将frame里面的GPU数据,传输到sw_frame里面,tmp_frame正好等于sw_frame。如果不是hw_pix_fmt,那么tmp_frame就是frame。这个执行完之后,tmp_frame里面保存的就是内存数据了。

        size = av_image_get_buffer_size(tmp_frame->format, tmp_frame->width,
                                        tmp_frame->height, 1);
        buffer = av_malloc(size);
        if (!buffer) {
            fprintf(stderr, "Can not alloc buffer\n");
            ret = AVERROR(ENOMEM);
            goto fail;
        }
        ret = av_image_copy_to_buffer(buffer, size,
                                      (const uint8_t * const *)tmp_frame->data,
                                      (const int *)tmp_frame->linesize, tmp_frame->format,
                                      tmp_frame->width, tmp_frame->height, 1);
        if (ret < 0) {
            fprintf(stderr, "Can not copy image to buffer\n");
            goto fail;
        }

接下来,判断tmp_frame的数据大小,分配一个size大小的buffer,将tmp_frame的数据,搬到buffer中。

        if ((ret = fwrite(buffer, 1, size, output_file)) < 0) {
            fprintf(stderr, "Failed to dump raw data.\n");
            goto fail;
        }

然后将buffer中的数据,写入到output_file中,也就是写入到out.yuv中。

    fail:
        av_frame_free(&frame);
        av_frame_free(&sw_frame);
        av_freep(&buffer);
        if (ret < 0)
            return ret;
    }
}

如果失败了,释放frame, sw_frame, buffer内容,并且如果ret <0, 返回ret。

    /* actual decoding and dump the raw data */
    while (ret >= 0) {
        if ((ret = av_read_frame(input_ctx, &packet)) < 0)
            break;

        if (video_stream == packet.stream_index)
            ret = decode_write(decoder_ctx, &packet);

        av_packet_unref(&packet);
    }

    /* flush the decoder */
    packet.data = NULL;
    packet.size = 0;
    ret = decode_write(decoder_ctx, &packet);
    av_packet_unref(&packet);

    if (output_file)
        fclose(output_file);
    avcodec_free_context(&decoder_ctx);
    avformat_close_input(&input_ctx);
    av_buffer_unref(&hw_device_ctx);

    return 0;
}

然后一直循环av_read_frame,解码写文件,直到av_read_frame < 0,也就是把整个输入文件都处理完了,这个while循环结束。
接下来,还设置了一个packet.data = NULL, 调用了一次decode_write,就是告诉解码器,我没有数据了,你里面如果还缓存一些数据,都给我输出出来吧。

最后就是关闭输出文件,释放解码器上下文,关闭输出,释放硬件设备上下文。至此, hw_decode解析完毕。

常见问题

  1. 为什么硬件解码这么慢,CPU占用率也很高?
    答: 之所以这么慢,CPU占用率高,是因为有2个操作,1个操作是需要将数据从GPU显存拷贝到CPU内存,另外1个操作是需要写文件。如果你屏蔽av_hwframe_transfer_data及之后的操作,这里对应代码107行到139行,那么速度将会特别快。
    2. 为什么运行vaapi时提示找不到vaapi device。
    答:可能原因是没有安装 vaapi驱动,或者没有指定LIBVA_DRIVER_NAME这个环境变量。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/393972.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Java图形化界面编程——五子棋游戏 笔记

2.8.5 五子棋 接下来&#xff0c;我们使用之前学习的绘图技术&#xff0c;做一个五子棋的游戏。 注意&#xff0c;这个代码只实现了五子棋的落子、删除棋子和动画等逻辑实现&#xff0c;并没有把五子棋的游戏逻辑编写完整&#xff0c;比较简单易上手。 图片素材 package…

深度学习与计算机视觉 | 实用CV开源项目汇总(有github代码链接,建议收藏!)

本文来源公众号“深度学习与计算机视觉”&#xff0c;仅用于学术分享&#xff0c;侵权删&#xff0c;干货满满。 原文链接&#xff1a;【建议收藏】实用CV开源项目汇总&#xff08;文末有彩蛋~&#xff09; 01 Trace.moe 图像反向搜索动漫场景&#xff0c;使用动漫截图搜索该…

数据库实验报告

用SQL语句和企业管理器建立如下的表结构并输入数据 给定表结构如下&#xff1a; 创建数据库 创建数据库 create table student(Sno int auto_increment primary key,Sname varchar(45),Ssex varchar(45),Sage int,Sdept varchar(45) )engine InnoDB default charsetutf8; …

java之VO,BO,PO,DO,DTO

概念 VO&#xff08;View Object&#xff09;&#xff1a;视图对象&#xff0c;用于展示层&#xff0c;它的作用是把某个指定页面&#xff08;或组件&#xff09;的所有数据封装起来。DTO&#xff08;Data Transfer Object&#xff09;&#xff1a;数据传输对象&#xff0c;这…

代码随想录刷题笔记-Day19

1. 二叉搜索树的最小绝对差 530. 二叉搜索树的最小绝对差https://leetcode.cn/problems/minimum-absolute-difference-in-bst/ 给你一个二叉搜索树的根节点 root &#xff0c;返回 树中任意两不同节点值之间的最小差值 。 差值是一个正数&#xff0c;其数值等于两值之差的绝…

windows安装Mysql解压版

windows安装Mysql解压版 一、下载mysql-8.0.36-winx64.zip二、解压三、配置3.1. 添加环境变量&#xff1a;新建MYSQL_HOME3.2.如何验证是否添加成功&#xff1a;必须以管理员身份启动3.3. 初始化MySQL&#xff1a;必须以管理员身份启动3.4. 注册MySQL服务&#xff1a;必须以管理…

算法练习-01背包问题【含递推公式推导】(思路+流程图+代码)

难度参考 难度&#xff1a;困难 分类&#xff1a;动态规划 难度与分类由我所参与的培训课程提供&#xff0c;但需 要注意的是&#xff0c;难度与分类仅供参考。且所在课程未提供测试平台&#xff0c;故实现代码主要为自行测试的那种&#xff0c;以下内容均为个人笔记&#xff0…

PCL库学习及ROS使用

PCL库学习 c_cpp_properties.json {"configurations": [{"name": "Linux","includePath": ["${workspaceFolder}/**","/usr/include","/usr/local/include"],"defines": [],"compiler…

Linux第60步_“buildroot”构建根文件系统第2步_配置“buildroot下的busybox”并测试“buildroot”生成的根文件系统

1、查看“buildroot下的busybox”安装路径 打开终端 输入“ls回车” 输入“cd linux回车/”&#xff0c;切换到到“linux”目录 输入“ls回车”&#xff0c;查看“linux”目录下的文件和文件夹 输入“cd buildroot/回车”&#xff0c;切换到到“buildroot”目录 输入“ls…

ClickHouse迎战十亿行数据的挑战

本文字数&#xff1a;6782&#xff1b;估计阅读时间&#xff1a;17 分钟 作者&#xff1a;Dale McDiarmid 审校&#xff1a;庄晓东&#xff08;魏庄&#xff09; 本文在公众号【ClickHouseInc】首发 本月初&#xff0c;Decodable 公司的 Gunnar Morling 提出了一项为期一月挑战…

接口测试怎么进行,如何做好接口测试

一、什么是接口&#xff1f; 接口测试主要用于外部系统与系统之间以及内部各个子系统之间的交互点&#xff0c;定义特定的交互点&#xff0c;然后通过这些交互点来&#xff0c;通过一些特殊的规则也就是协议&#xff0c;来进行数据之间的交互。 二、 常用接口采用方式&#x…

API自动化测试你以为很难?看完这篇文章直接打开你的任督二脉

API测试已成为日常的测试任务之一&#xff0c;为了提高测试效率&#xff0c;减少重复的手工操作&#xff0c;API自动化测试也逐渐变得愈加重要&#xff0c;本文是自己在API自动化测试方面的一些经验积累和心得、汇总成文&#xff0c;以飨读者 我相信自动化技能已经成为高级测试…

单调栈题目总结

单调栈 496. 下一个更大元素 I 503. 下一个更大元素 II 739. 每日温度 6227. 下一个更大元素 IV 模版归纳 「单调栈」顾名思义就是具有单调性的栈结构&#xff0c;一般常用于找到下一个更大的元素&#xff0c;即当前元素右侧第一个更大的元素 看下面一个例子&#xff1a…

消毒柜行业分析:市场渗透率不足20%

目前消毒柜仍然属于“小众”品类&#xff0c;疫情前期市场渗透率也不足20%。有业内人士表示&#xff0c;多年来消毒柜零售量规模基本在400万台左右徘徊&#xff0c;这个角度看&#xff0c;消毒柜是具有自身的产品消费人群的&#xff0c;其市场相对稳定&#xff0c;而且消毒柜的…

DoRA(权重分解低秩适应):一种新颖的模型微调方法

来自&#xff1a;小互 DoRA&#xff08;权重分解低秩适应&#xff09;&#xff1a;一种新颖的模型微调方法 DoRA在LoRA的基础上进一步发展&#xff0c;通过将预训练权重分解为“幅度”和“方向”两个部分进行微调。 这种权重分解方法允许DoRA更精细地控制模型的学习过程&…

error: ‘QWidget‘ file not found

说明你没有加载 widgets模块 缺少widgets&#xff0c;就报错

mysql 2-17

UNION关键字和UNION ALL 自然连接 USING使用 函数 单行函数 基本函数 三角函数 指数和对数 进制间的转换 字符串函数 时间和日期函数 计算日期和时间的函数 日期的格式化和解析 流程控制函数

这样用TVS管

对于工程师来说&#xff0c;浪涌保护不仅仅是选择合适的电源板或者拔下几根电缆&#xff0c;主要涉及在 PCB 布局中放置瞬态保护组件并应用明确的接地策略。 TVS 二极管是用于保护PCB布局中组件的常用组件&#xff0c;这些组件放置在数据线上&#xff0c;一旦电路中接收到ESD脉…

激活函数30年回顾总结,全paper第一份详尽研究来了!

B站&#xff1a;啥都会一点的研究生公众号&#xff1a;啥都会一点的研究生 新年好&#xff0c;离退休又近了一年 假期躺平未更新&#xff0c;但该保存的素材及热点还是拿小本本记了下来&#xff0c;如这篇今年2月14号arXiv上发表的长达100页神经网络中激活函数大总结文章就进…

综合练习

目录 查询每个员工的编号、姓名、职位、基本工资、部门名称、部门位置 确定要使用的数据表 确定已知的关联字段 查询每个员工的编号、姓名、职位、基本工资、工资等级 确定要使用的数据表 确定已知的关联字段 查询每个员工的编号、姓名、职位、基本工资、部门名称、工资…