ffmpeg编程入门

文章目录

- ffmpeg流程
- 常用的音视频术语
- - 常用概念复用器
  - 编解码器
  - ffmpeg的整体结构
  - 注册组件相关
  - 封装格式相关
  - - 函数的调用流程
  - 相关的ffpmeg数据结构简介
  - 数据结构之间的关系

ffmpeg流程

在这里插入图片描述
图中的函数以及结构体都是ffmpeg自带提供的
ffmpeg打开的时候和其他io操作差不多有一个类似句柄一样的结构体这里是 AVFormatContext 我们通过avformat_open_input去从音视频文件中读取这个context进行后续的操作
AVFormatContext 通过调用av_read_frame 去读取到对应的AVStream 这个就是对应音频或者视频的码流
具体的数据存储在对应的AVPacket里面也就是对应的压缩后的数据
然后对应的AVPacket调用avcodec_send_packet 将对应的包数据发送到音频和视频的解码器里面去
解码器这里用avcodec_receive_frame 接受数据将其解码为一帧的数据为AVFrame
然后进行同步控制后进行输出
注意：
音频和视频的api调用基本相同

常用的音视频术语

容器／文件（Conainer/File）：即特定格式的多媒体文件，比如mp4、flv、mkv等就是封装音视频的格式
媒体流（Stream）：表示时间轴上的一段连续数据，如一段声音数据、一段视频数据或一段字幕数据，可以是压缩
的，也可以是非压缩的，压缩的数据需要关联特定的编解码器（有些码流音频他是纯PCM）。
数据帧／数据包（Frame/Packet）：通常，一个媒体流是由大量的数据帧组成的，对于压缩数据，帧对应着编解码
器的最小处理单元，分属于不同媒体流的数据帧交错存储于容器之中。

在FFmpeg中，**数据包（packet）和数据帧（frame）**是两种不同的数据单位，分别用于处理编码数据和解码数据：

数据包（Packet）
概念：数据包是包含编码数据的最小单元。它通常是从多媒体文件或流中读取的原始数据块，如视频或音频的编码比特流。
特点：
包含压缩的数据（如H.264编码的视频数据、AAC编码的音频数据）。
每个数据包通常代表一小段时间内的媒体数据，但并不一定对应一个解码后的完整帧。
数据包的大小不固定，取决于编码方式和数据的复杂度。
在FFmpeg中，AVPacket结构体用于表示一个数据包。
应用：数据包主要用于传输和存储，适合将多媒体内容封装在文件或流中。
数据帧（Frame）
概念：数据帧是解码后的媒体数据的基本单位，是指一组连续的数据块，可直接用于播放或进一步处理。
特点：
包含解码后的未压缩数据（如YUV格式的图像数据、PCM格式的音频数据）。
视频帧表示一帧图像，而音频帧表示一小段音频样本。
在FFmpeg中，AVFrame结构体用于表示一个数据帧。
应用：数据帧主要用于处理和展示，例如视频渲染或音频播放。
数据包：编码后的压缩数据，用于传输和存储，包含在比特流中。
数据帧：解码后的未压缩数据，用于播放和处理，通常是最终渲染的单位。
在FFmpeg的使用中，通常是先读取数据包，再将数据包解码为数据帧，以供后续操作。

编解码器：编解码器是以帧为单位实现压缩数据和原始数据之间的相互转换的。

常用概念复用器

在这里插入图片描述

编解码器

在这里插入图片描述

H264解码器： H264是一种标准，有很多厂家都在做这个解码器，每一个解码器都是使用AvCodec 进行封装的里面有个Id的名称用来唯一表示解码器
在这里插入图片描述
不同厂家在做一个解码器的时候 name必须不同但是id必须相同

ffmpeg的整体结构

在这里插入图片描述
常用到的库介绍：

AVUtil：核心工具库，下面的许多其他模块都会依赖该库做一些基本的音视频处理操作。
AVFormat：文件格式和协议库，该模块是最重要的模块之一，封装了Protocol层和Demuxer、Muxer层，使得协议和格式对于开发者来说是透明的。
AVCodec：编解码库，封装了Codec层，但是有一些Codec是具备自己的License的，FFmpeg是不会默认添加像libx264、FDK-AAC等库的，但是FFmpeg就像一个平台一样，可以将其他的第三方的Codec以插件的方式添加进来，然后为开发者提供统一的接口。
AVFilter：音视频滤镜库，该模块提供了包括音频特效和视频特效的处理，在使用FFmpeg的API进行编解码的过程中，直接使用该模块为音视频数据做特效处理是非常方便同时也非常高效的一种方式。
AVDevice：输入输出设备库，比如，需要编译出播放声音或者视频的工具ffplay，就需要确保该模块是打开的，同时也需要SDL的预先编译，因为该设备模块播放声音与播放视频使用的都是SDL库。
SwrRessample：该模块可用于音频重采样，可以对数字音频进行声道数、数据格式、采样率等多种基本信息的转换。
SWScale：该模块是将图像进行格式转换的模块，比如，可以将YUV的数据转换为RGB的数据，缩放尺寸由1280* 720变为800* 480。
PostProc：该模块可用于进行后期处理，当我们使用AVFilter的时候需要打开该模块的开关，因为Filter中会使用到该模块的一些基础函数。

注册组件相关

注意在ffmpeg4.之后的版本不需要手动调用函数去注册，ffpmeg会自动注册。

封装格式相关

◼ avformat_alloc_context();负责申请一个AVFormatContext结构的内存,并进行简单初始化
◼ avformat_free_context();释放该结构里的所有东西以及该结构本身
◼ avformat_close_input();关闭解复用器。关闭后就不再需要使用avformat_free_context 进行释放。
◼ avformat_open_input();打开输入视频文件
◼ avformat_find_stream_info()：获取音视频文件信息
◼ av_read_frame(); 读取音视频包
◼ avformat_seek_file(); 定位文件当输入的流是直播流的时候这个函数没有用
◼ av_seek_frame():定位文件