八、ffmpeg录制视频为yuv文件

前言


测试环境：

  • ffmpeg的4.3.2自行编译版本
  • windows环境
  • qt5.12

图片的一些重要知识：

RGB图片

  • 位深度：每一个像素都会使用n个二进制位来存储颜色信息。每一个像素的颜色都是由红（Red）、绿（Green）、蓝（Blue）3个颜色通道合成的，即光的三原色。能表示2的n次方种颜色。

颜色的表示方式：如十进制：rgb(64, 224, 208)。十六进制：#40E0D0。

一张图片的理论大小：辨率是60x50，位深度是24。其理论大小为(60**50)*(24/8)=9000B≈8.79KB

YUV图片(原始图片数据，相当于pcm)

YUV比RGB的优势：（1）YUV比RGB的体积小一半。（2）YUV模式可以从黑白电视转为彩色电视过度

  • Y：表示亮度（Luminance、Luma），占8bit（1字节）。
  • Cb、Cr：表示色度（Chrominance、Chroma）
    • Cb（U）：蓝色色度分量，占8bit（1字节）
    • Cr（V）：红色色度分量，占8bit（1字节）

Y分量对清晰度影响巨大，所以可以减少UV分量以达到压缩的目的。(眼对亮度的敏感程度要高于对色度的敏感程度，人眼对于亮度的分辨要比对颜色的分辨精细一些)。即色度二次采样：如果在色度分量上进行（相对亮度分量）较低分辨率的采样，也就是存储较多的亮度细节、较少的色度细节，这样就可以在不明显降低画面质量的同时减小图像的体积。

注：YUV和RGB是可以进行转换的，如：

公式一：

Y = 0.257R + 0.504G + 0.098B + 16
U = -0.148R - 0.291G + 0.439B + 128
V = 0.439R - 0.368G - 0.071B + 128
 
R = 1.164(Y - 16) + 2.018(U - 128)
G = 1.164(Y - 16) - 0.813(V - 128) - 0.391(U - 128)
B = 1.164(Y - 16) + 1.596(V - 128)

RGB的取值范围是[0,255]
Y的取值范围是[16,235]
UV的取值范围是[16,239]

公式二：

Y = 0.299R + 0.587G + 0.114B
U = 0.564(B - Y) = -0.169R - 0.331G + 0.500B
V = 0.713(R - Y) = 0.500R - 0.419G - 0.081B
 
R = Y + 1.403V
G = Y - 0.344U - 0.714V
B = Y + 1.770U
    
RGB的取值范围是[0, 1]
Y的取值范围是[0, 1]
UV的取值范围是[-0.5, 0.5]

公式三：

Y = 0.299R + 0.587G + 0.114B
U = -0.169R - 0.331G + 0.500B + 128
V = 0.500R - 0.419G - 0.081B + 128
 
R = Y + 1.403(V - 128)
G = Y - 0.343(U - 128) - 0.714(V - 128)
B = Y + 1.770(U - 128)

RGB的取值范围是[0, 255]
YUV的取值范围是[0, 255]

下面需要重点讲解一下色度二次采样通过何种方式达到高清晰小体积的

采样格式（像素格式）

若要进行色度二次采样，则采样格式有三种，A:B:C，A表示一块A*2个像素的概念区域，一般都是4。B表示第1行的色度采样数目。C表示第2行的色度采样数目（C的值一般要么等于B，要么等于0）。

以下假设YUV每个分量需要1字节

  • 4:4:4 -> yuv444p （8个像素，占24*8位，即24字节，每个像素为24/8=3字节）
  • 4:2:2 -> yuv422p （8个像素，占（24+8）*4位，即16字节，每个像素为16/8=2字节）
  • 4:2:0 -> yuv420p （8个像素，占（16+4*8） *2位，即12字节，每个像素为12/8=1.5字节）

如下是4*2像素的情况下，采样的方式：

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

色度二次采样记录每个位置的亮度信息，再记录部分位置的色度信息。结合起来就达到了，尽可能高的分辨率和尽可能大的压缩

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传


采样完成之后，还要考虑YUV三个分量的存储方式（每个Y、U、V分别占一个字节，完整的YUV理论上是3字节，24位）

YUV数据的存储格式（YUV图片相当于pcm图片）

  • Planar（平面），Y、U、V分量分开单独存储，以p结尾
  • Semi-Planar（半平面），Y分量单独存储，U、V分量交错存储，以字母sp结尾
  • Packed（紧凑）又叫Interleaved （交错），Y、U、V分量交错存储

以yuv42p举例，将样式图按照字节流排列如下（下图应该代表24个像素，因为有24个Y分量）

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

采样格式+存储格式=像素格式

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传


命令行其他格式图片转yuv图片

ffmpeg -i 1.png -s 1928x1048 -pixel_format yuv420p out.yuv

yuv转其他图片

ffmpeg -s 1928x1048 -pixel_format yuv420p -i in.yuv out.jpg

命令行播放yuv图片

ffplay -video_size 1928x1048 -pixel_format yuv420p out.yuv

查看ffmpeg支持的像素格式

ffmpeg -pix_fmts | findstr 444

image-20230104145850765

四个分量则是yuva四个分量，a表示透明度

命令行yuv图片转其他格式

ffmpeg -s 564x513 -pix_fmt yuv420p -i out.yuv 1.jpg

命令行查看摄像头的相关信息

ffmpeg -h demuxer=dshow		---查看dshow支持的参数
    -video_size：分辨率
    -pixel_format：像素格式
    -framerate：帧率（每秒采集多少帧画面）
    -list_devices：true表示列出dshow支持的所有设备
    -list_options：true表示列出特定设备支持的所有参数
    
ffmpeg -f dshow -list_options true -i video="Integrated Camera"		---查看摄像头支持的参数（摄像头支持的像素格式和默认录制的格式可能不一样）

ffmpeg -f dshow -i video="Integrated Camera" out.yuv    	---使用摄像头录制视频

录制时的输出信息如下，即录制的视频信息为，分辨率：1280x720，像素格式：yuvj422p，帧率：30fps

Input #0, dshow, from 'video=Integrated Camera':
    Stream #0:0: Video: mjpeg, yuvj422p, 1280x720, 30 fps
 
Output #0, rawvideo, to 'out.yuv':
    Stream #0:0: Video: rawvideo, yuvj422p, 1280x720, 30 fps

自定义参数进行摄像头录制

#    
ffmpeg -f dshow -video_size 640x480 -pixel_format yuyv422 -framerate 30 -i video="Integrated Camera" out.yuv		---自定义参数录制视频    
    
#
ffplay -video_size 1280x720 -pixel_format yuvj422p -framerate 30 out.yuv 		---播放摄像头录制的视频  
    -framerate：帧率

音频录制及播放的最基本要素：

  • 分辨率：如1080x720，-video_size
  • 像素格式：即采样格式，如yuvj422p，-pixel_format
  • 帧率：-framerate

注：YUV中没有声音，只有在最基本的图像信息


完整代码：

RecordYuvThread.h

#ifndef RECORDYUVTHREAD_H
#define RECORDYUVTHREAD_H

#include <QObject>
#include <QThread>

class RecordYuvThread : public QThread
{
    Q_OBJECT
public:
    explicit RecordYuvThread(QObject *parent = nullptr);
    ~RecordYuvThread();

signals:


    // QThread interface
protected:
    virtual void run() override;
};

#endif // RECORDYUVTHREAD_H

RecordYuvThread.cpp

#include "recordyuvthread.h"

#include <QDebug>
#include <QFile>

extern "C" {
// 设备
#include <libavdevice/avdevice.h>
// 格式
#include <libavformat/avformat.h>
// 工具（比如错误处理）
#include <libavutil/avutil.h>
#include <libavutil/imgutils.h>
#include <libavcodec/avcodec.h>
}

#ifdef Q_OS_WIN
    // 格式名称
    #define FMT_NAME "dshow"
    // 设备名称
    #define DEVICE_NAME "video=Integrated Camera"
    // YUV文件名
    #define FILENAME "E:/media/out-yuyv422.yuv"
#else
    #define FMT_NAME "avfoundation"
    #define DEVICE_NAME "0"
    #define FILEPATH "/Users/mj/Desktop/out.yuv"
#endif

#define ERROR_BUF(ret) \
    char errbuf[1024]; \
    av_strerror(ret, errbuf, sizeof (errbuf));

RecordYuvThread::RecordYuvThread(QObject *parent) : QThread(parent)
{
    // 当监听到线程结束时（finished），就调用deleteLater回收内存
    connect(this,&RecordYuvThread::finished,this,[=](){
        this->deleteLater();
        qDebug()<<"RecordYuvThread线程结束";
    });
}

RecordYuvThread::~RecordYuvThread()
{
    // 断开所有的连接
    disconnect();
    // 内存回收之前，正常结束线程
    requestInterruption();
    // 安全退出
    quit();
    wait();
    qDebug() << this << "析构（内存被回收）";
}

void RecordYuvThread::run()
{
    // 获取输入格式对象
    AVInputFormat *fmt = av_find_input_format(FMT_NAME);
    if (!fmt) {
        qDebug() << "av_find_input_format error" << FMT_NAME;
        return;
    }

    // 格式上下文（将来可以利用上下文操作设备）
    AVFormatContext *ctx = nullptr;

    // 设备参数
    AVDictionary *options = nullptr;
    av_dict_set(&options, "video_size", "640x480", 0);
    av_dict_set(&options, "pixel_format", "yuyv422", 0);
    av_dict_set(&options, "framerate", "30", 0);

//    av_dict_set(&options, "video_size", "1280x720", 0);
//    av_dict_set(&options, "pixel_format", "yuyv422", 0);
//    av_dict_set(&options, "framerate", "10", 0);

    // 打开设备
    int ret = avformat_open_input(&ctx, DEVICE_NAME, fmt, &options);
    if (ret < 0) {
        ERROR_BUF(ret);
        qDebug() << "avformat_open_input error" << errbuf;
        return;
    }

    // 文件名
    QFile file(FILENAME);

    // 打开文件
    if (!file.open(QFile::WriteOnly)) {
        qDebug() << "file open error" << FILENAME;

        // 关闭设备
        avformat_close_input(&ctx);
        return;
    }

    // 计算一帧的大小
    AVCodecParameters *params = ctx->streams[0]->codecpar;
    AVPixelFormat pixFmt = (AVPixelFormat) params->format;

    int imageSize = av_image_get_buffer_size(
                        pixFmt,
                        params->width,
                        params->height,
                        1);

//    qDebug() << imageSize;
//    qDebug() << pixFmt << params->width << params->height;
//    qDebug() << av_pix_fmt_desc_get(pixFmt)->name;
//    int pixSize = av_get_bits_per_pixel(av_pix_fmt_desc_get(pixFmt)) >> 3;
//    int imageSize = params->width * params->height * pixSize;

    // 数据包
    AVPacket *pkt = av_packet_alloc();
    while (!isInterruptionRequested()) {
        // 不断采集数据
        ret = av_read_frame(ctx, pkt);

        if (ret == 0) { // 读取成功
            // 将数据写入文件
            file.write((const char *) pkt->data, imageSize);

            // windows：614400
            // mac：615680
            // qDebug() << pkt->size;

            // 释放资源
            av_packet_unref(pkt);
        } else if (ret == AVERROR(EAGAIN)) { // 资源临时不可用
            continue;
        } else { // 其他错误
            ERROR_BUF(ret);
            qDebug() << "av_read_frame error" << errbuf << ret;
            break;
        }
    }

    // 释放资源
    av_packet_free(&pkt);

    // 关闭文件
    file.close();

    // 关闭设备
    avformat_close_input(&ctx);
}

线程调用：

void MainWindow::on_pushButton_record_yuv_clicked()
{
    if (!m_bIsRecordYuv) { // 点击了“开始录制”
        // 开启线程
        m_pRecordYuvThread = new RecordYuvThread(this);
        m_pRecordYuvThread->start();

        connect(m_pRecordYuvThread, &RecordYuvThread::finished,[this]() { // 线程结束
            m_pRecordYuvThread = nullptr;
            ui->pushButton_record_yuv->setText("开始录制");
        });

        // 设置按钮文字
        ui->pushButton_record_yuv->setText("结束录制");
        m_bIsRecordYuv=true;
    } 
    else { // 点击了“结束录制”
        // 结束线程
        m_pRecordYuvThread->requestInterruption();
        m_pRecordYuvThread = nullptr;

        // 设置按钮文字
        ui->pushButton_record_yuv->setText("开始录制");
        m_bIsRecordYuv=false;
    }
}

注意：.h文件中提前声明了以下全局变量

	RecordYuvThread *m_pRecordYuvThread=nullptr;
    bool m_bIsRecordYuv=false;

注意：本文为个人记录，新手照搬可能会出现各种问题，请谨慎使用


码字不易，如果这篇博客对你有帮助，麻烦点赞收藏，非常感谢！有不对的地方

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/178530.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

系统移植-交叉编译工具链

系统移植-交叉编译工具链

不同架构的机器码 与 汇编语言 都不可移植&#xff0c; 且二者一一对应 c语言中三种成分&#xff1a; 1.分号结尾的叫做语句 语句可以让CPU执行&#xff0c;可以进行预处理&#xff0c;编译等生成机器码 2.#开头的为预处理指令 不带分号 CPU无法执行 3.注释&#xff0c;…
阅读更多...
Dubbo从入门到上天系列第十八篇：Dubbo引入注册中心简介以及DubboAdmin简要介绍，为后续详解Dubbo各种注册中心做铺垫！

Dubbo从入门到上天系列第十八篇：Dubbo引入注册中心简介以及DubboAdmin简要介绍，为后续详解Dubbo各种注册中心做铺垫！

一&#xff1a;Dubbo注册中心引言 1&#xff1a;什么是Dubbo的注册中心&#xff1f; Dubbo注册中心是Dubbo服务治理中极其重要的一个概念。它主要是用于对Rpc集群应用实例进行管理。 对于我们的Dubbo服务来讲&#xff0c;至少有两部分构成&#xff0c;一部分是Provider一部分是…
阅读更多...
专业pdf编辑工具PDF Expert mac中文版特点介绍

专业pdf编辑工具PDF Expert mac中文版特点介绍

PDF Expert mac是一款专业的PDF编辑和阅读工具。它可以帮助用户在Mac、iPad和iPhone等设备上查看、注释、编辑、填写和签署PDF文档。 PDF Expert mac软件特点 PDF编辑&#xff1a;PDF Expert提供了丰富的PDF编辑功能&#xff0c;包括添加、删除、移动、旋转、缩放、裁剪等操作…
阅读更多...
云原生入门系列（背景和驱动力）

云原生入门系列（背景和驱动力）

做任何一件事&#xff0c;或者学习、应用一个领域的技术&#xff0c;莫过于先要想好阶段的目标和理解、学习它的意义是什么&#xff1f;解决了什么问题&#xff1f; 这部分&#xff0c;就尝试来探讨下这个阶段需要理解并达成的目标以及践行云原生的意义在哪里。 1.历程 任何阶…
阅读更多...
Python 自动化测试如何动态的选择用例执行

Python 自动化测试如何动态的选择用例执行

问题 在做自动化测试时&#xff0c;往往需要根据任务的不同选择不同的用例集来执行。怎么优雅的来解决这个问题呢&#xff1f; 答案就是&#xff1a;pytest 框架的标记功能。 使用方法如下&#xff1a; 1. 注册标记 在项目根目录下创建 pytest.ini&#xff0c;在其中注册标…
阅读更多...
nodejs微信小程序＋python＋PHP-储能电站运营管理系统的设计与实现-计算机毕业设计推荐

nodejs微信小程序＋python＋PHP-储能电站运营管理系统的设计与实现-计算机毕业设计推荐

目 录 摘 要 I ABSTRACT II 目 录 II 第1章 绪论 1 1.1背景及意义 1 1.2 国内外研究概况 1 1.3 研究的内容 1 第2章 相关技术 3 2.1 nodejs简介 4 2.2 express框架介绍 6 2.4 MySQL数据库 4 第3章 系统分析 5 3.1 需求分析 5 3.2 系统可行性分析 5 3.2.1技术可行性&#xff1a;…
阅读更多...
SSM之Mybatis框架

SSM之Mybatis框架

1 概述 1.1 什么是Mybayis 它是一款半自动的ORM持久层框架&#xff0c;具有较高的SQL灵活性&#xff0c;支持高级映射(一对一&#xff0c;一对多)&#xff0c;动态SQL&#xff0c;延迟加载和缓存等特性&#xff0c;但它的数据库无关性较低。 1.2 什么是ORM ORM&#xff08;…
阅读更多...
《C++ Primer》第9章 顺序容器（三）

《C++ Primer》第9章 顺序容器（三）

参考资料&#xff1a; 《C Primer》第5版《C Primer 习题集》第5版 9.5 额外的string操作&#xff08;P320&#xff09; 9.5.1 构造string的其他方法 const char *cp "hello, world!"; char arr[] { h,\0,i,\0 }; string s1(cp); // s1 "hello, world!…
阅读更多...
基于STM32的数字图像处理与模式识别算法优化

基于STM32的数字图像处理与模式识别算法优化

基于STM32的数字图像处理与模式识别算法优化是一项涉及图像处理和机器学习领域的研究任务&#xff0c;旨在实现高效的图像处理和模式识别算法在STM32微控制器上的运行。本文将介绍基于STM32的数字图像处理与模式识别算法优化的原理和实现步骤&#xff0c;并提供相应的代码示例。…
阅读更多...
网络运维与网络安全 学习笔记2023.11.22

网络运维与网络安全 学习笔记2023.11.22

网络运维与网络安全 学习笔记 第二十三天 今日目标 VLAN间通信之交换机、VLAN间通信综合案例、浮动路由 VRRP原理与配置、VRRP链路跟踪、VRRP安全认证 VLAN间通信之交换机 单臂路由的缺陷 在内网的VLAN数量增多时&#xff0c;单臂链路容易成为网络瓶颈 三层交换机 具备…
阅读更多...
Linux 进程等待

Linux 进程等待

在2号手册里查wait&#xff08;&#xff09;。wait()等待任意一个子进程的状态。 wait&#xff08;&#xff09;等待成功会返回该子进程的id,返回失败会返回-1&#xff1a; 小实验 子进程的退出码 子进程执行work()&#xff0c;父进程wait子进程。 子进程跑完5秒之后就e…
阅读更多...
AIGC前沿技术与数字创新应用合作交流和论坛发布活动圆满落幕

AIGC前沿技术与数字创新应用合作交流和论坛发布活动圆满落幕

2023年11月17日下午&#xff0c;AIGC前沿技术与数字创新应用合作交流和论坛发布活动在北京市海淀区牡丹科技楼B座B1报告厅成功举办。 在这个以技术为驱动力的时代&#xff0c;AIGC等这些前沿技术正以惊人的速度改变着我们的生活和产业格局。利用新兴技术和数字化工具来解决问题…
阅读更多...
《工程测量学》笔记/期末复习资料

《工程测量学》笔记/期末复习资料

水平角观测方法&#xff1a; ①测回法&#xff1b;②方向观测法&#xff08;全圆观测法&#xff09;。 比例尺精度&#xff1a; 图上0.1mm&#xff08;肉眼能够识别的最小距离&#xff09;所表示的实地距离称为“比例尺精度”。 ①尺寸小于比例尺精度的地物不需要测量&…
阅读更多...
系列十、ThreadLocal的使用场景

系列十、ThreadLocal的使用场景

一、ThreadLocal的使用场景 &#xff08;1&#xff09;使用日期工具类&#xff0c;当用到SimpleDateFormat时&#xff0c;使用ThreadLocal保证线程安全&#xff1b; &#xff08;2&#xff09;全局存储用户信息&#xff08;用户信息存入ThreadLocal&#xff0c;那么当前线程在任…
阅读更多...
Kubernetes（k8s）之Pod详解

Kubernetes（k8s）之Pod详解

文章目录 Kubernetes之Pod详解一、Pod介绍pod结构pod定义 二、Pod配置pod基本配置镜像拉取策略启动命令环境变量端口设置资源配额 三、Pod生命周期创建和终止初始化容器钩子函数容器探测重启策略 四、Pod调度定向调度NodeNameNodeSelector 亲和性调度NodeAffinityPodAffinityPo…
阅读更多...
2014年6月18日 Go生态洞察：Go 1.3 版本发布

2014年6月18日 Go生态洞察：Go 1.3 版本发布

&#x1f337;&#x1f341; 博主猫头虎&#xff08;&#x1f405;&#x1f43e;&#xff09;带您 Go to New World✨&#x1f341; &#x1f984; 博客首页——&#x1f405;&#x1f43e;猫头虎的博客&#x1f390; &#x1f433; 《面试题大全专栏》 &#x1f995; 文章图文…
阅读更多...
什么是应急演练脚本?其设计原则是什么?

什么是应急演练脚本?其设计原则是什么?

应急演练脚本是一种系统性、有计划的模拟性文件&#xff0c;旨在测试和评估组织在紧急情况下的应对能力。这种脚本提供了一系列步骤和场景&#xff0c;以确保团队能够高效、协调地应对各种紧急事件。以下将详细探讨应急演练脚本的定义、设计原则以及实施过程。 一、应急演练脚本…
阅读更多...
Leetcode2216. 美化数组的最少删除数

Leetcode2216. 美化数组的最少删除数

Every day a Leetcode 题目来源&#xff1a;2216. 美化数组的最少删除数 解法1&#xff1a;模拟 使用变量 count 代表已删除的元素个数&#xff0c;由于每次删除元素&#xff0c;剩余元素都会往前移动&#xff0c;因此当前下标为 i - count。 遍历一次数组 nums&#xff0…
阅读更多...
Sleuth

Sleuth

Sleuth 一 引言 随着服务的越来越多&#xff0c;对调⽤链的分析会越来越复杂。它们之间的调⽤关系也许如下图&#xff1a; 问题&#xff1a; 1&#xff1a;微服务之间的调⽤错综复杂&#xff0c;⽤户发送的请求经历那些服务&#xff0c;调⽤链不清楚&#xff0c;没有⼀ 个⾃…
阅读更多...
【Django使用】md文档10大模块第5期：Django数据库增删改查和Django视图

【Django使用】md文档10大模块第5期：Django数据库增删改查和Django视图

Django的主要目的是简便、快速的开发数据库驱动的网站。它强调代码复用&#xff0c;多个组件可以很方便的以"插件"形式服务于整个框架&#xff0c;Django有许多功能强大的第三方插件&#xff0c;你甚至可以很方便的开发出自己的工具包。这使得Django具有很强的可扩展…
阅读更多...
最新文章

Copyright @ 2022~2023