这一节,接 音视频开发12 FFmpeg 解复用详情分析,前面我们已经对一个 MP4文件,或者 FLV文件,或者TS文件进行了 解复用,解出来的 视频是H264,音频是AAC,那么接下来就要对H264和AAC进行处理,这一节 主要是对 AAC进行处理。
⾳频解码过程
FFmpeg流程解码过程
关键函数
//变量定义
//1 解码器
const AVCodec *avcodec = nullptr;
//2 解析器上下文
AVCodecParserContext * avcodecParserContext = nullptr;
//3 解码器上下文
AVCodecContext * avCodecContext = nullptr;
//4. AVPacket 的作用是将 aac 数据借助 AVCodecParserContext 和自定义 data存放在这里面
AVPacket * avpacket = nullptr;
//5. AVFrame ,AVFrame的作用是将 解码后的数据 存放到这里面。
AVFrame * avFrame = nullptr;
//7. 输入文件和输出文件
QFile inFile(inFilename);
QFile outFile(out.pcmfilename);
//第一步:获取解码器 @return A decoder if one was found, NULL otherwise.
const AVCodec * avcodec = avcodec_find_decoder_by_name("libfdk_aac");
或者
enum AVCodecID audio_codec_id = AV_CODEC_ID_AAC;
const AVCodec * avcodec = avcodec_find_decoder(audio_codec_id);
if(!avcodec){
ret = -3;
qDebug()<<"func aacDecode error because avcodec_find_decoder_by_name return null"
<<" ret = " << ret << " parameter = " << "libfdk_aac";
goto end;
}
//第二步:初始化解析器上下文, 如果成功需要在最后 av_parser_close(parser);,此代码从文档中无法看出,自己是从doc/example 中看到的
AVCodecParserContext *avcodecParserContext = av_parser_init(avcodec->id);
if(!avcodecParserContext){
ret = -4;
qDebug()<<"func aacDecode error because av_parser_init return null"
<<" ret = " << ret << " avcodec->id = " << avcodec->id;
goto end;
}
//第三步:通过解码器创建 解码器上下文 should be freed with avcodec_free_context().
AVCodecContext * avCodecContext = avcodec_alloc_context3(avcodec);
if(!avCodecContext){
ret = -5;
qDebug()<<"func aacDecode error because avcodec_alloc_context3 return null"
<<" ret = " << ret << " avcodec->id = " << avcodec->id;
goto end;
}
//第四步: 创建AVPacket,AVPacket 的作用是存放:将 aac的数据通过 解析器(avcodecParserContext)和自定义data,
AVPacket * avpacket = av_packet_alloc();
if(!avpacket){
ret = -6;
qDebug()<<"func aacDecode error because av_packet_alloc return null"
<<" ret = " << ret;
goto end;
}
//第五步:// 创建 AVFrame ,AVFrame的作用是将 解码后的数据 存放到这里面。
AVFrame *avFrame = av_frame_alloc();
if(!avFrame){
ret = -7;
qDebug()<<"func aacDecode error because avFrame return null"
<<" ret = " << ret;
goto end;
}
// 第六步 :打开解码器,将解码器和解码器上下文关联
ret = avcodec_open2(avCodecContext,avcodec,nullptr);
if(ret<0){
ERROR_BUF(ret);
qDebug()<<"func aacDecode error because avcodec_open2 return"
<<" ret = "<< ret << " errbuf = " << errbuf;
goto end;
}
//第七步,打开文件
// 打开文件
if (!inFile.open(QFile::ReadOnly)) {
qDebug() << "file open error:" << inFilename;
goto end;
}
if (!outFile.open(QFile::WriteOnly)) {
qDebug() << "file open error:" << out.pcmfilename;
goto end;
}
//第八步,从文件中读取数据
while ((inLen = inFile.read(inDataArray, IN_DATA_SIZE)) > 0) {
inData = inDataArray;
//第九步,读取数据后,将数据通过解析器解析,内容存储到avpacket->data中,大小存储到avpacket->size中
while (inLen > 0) {
// 经过解析器解析
// 内部调用的核心逻辑是:ff_aac_ac3_parse
// 经过解析器上下文处理
//参数1:解析器上下文
//参数2:解码器上下文
//参数3:传出data数据,从参数5中读取到的数据经过 解析器 和 解码器 处理后,存放到这里
//参数4:传出data数据大小,从参数5中读取到的数据经过 解析器 和 解码器 处理后的大小,存放到这里
//参数5:要读取的数据地址
//参数6:要读取的数据地址大小
//参数7: 是否pts数据
//参数7: *@param pts输入演示时间戳。在这里输入AV_NOPTS_VALUE
//参数8: *@param dts输入解码时间戳。在这里输入AV_NOPTS_VALUE
//参数9: *@param pos输入流中的字节位置。在这里输入 0
// 从第5个参数buf中,拿数据,最多拿 buf_size个数据,实际上要拿很多次。
//返回值:为每次读取的数据大小。
// int av_parser_parse2(AVCodecParserContext *s,
// AVCodecContext *avctx,
// uint8_t **poutbuf,
// int *poutbuf_size,
// const uint8_t *buf,
// int buf_size,
// int64_t pts,
// int64_t dts,
// int64_t pos);
ret = av_parser_parse2(avcodecParserContext,
avCodecContext,
&avpacket->data,
&avpacket->size,
(uint8_t *) inData,
inLen,
AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0);
if (ret < 0) {
ERROR_BUF(ret);
qDebug() << "av_parser_parse2 error" << errbuf;
goto end;
}
// 跳过已经解析过的数据
inData += ret;
// 减去已经解析过的数据大小
inLen -= ret;
// 第十步,将avpacvket中的数据,经过AVCodecContext 解码,存储到AVFrame中,然后将AVFrame中的数据存储到本地中
if (avpacket->size > 0 && decode(avCodecContext, avpacket, avFrame, outFile) < 0) {
goto end;
}
}
}
//第十步:将通过解析器解析后的avpacket,发送给AVCodecContext解码,解码后的数据存储在AVFrame中,然后将AVFrame中的数据存储到本地文件中。
static int decode(AVCodecContext *ctx,
AVPacket *pkt,
AVFrame *frame,
QFile &outFile) {
// 发送压缩数据到解码器
int ret = avcodec_send_packet(ctx, pkt);
int decodenum = 0;
int parsenum = 0;
decodenum++;
qDebug()<<"decodenum = " << decodenum << " ret = " << ret <<endl;
if (ret < 0) {
ERROR_BUF(ret);
qDebug() << "avcodec_send_packet error" << errbuf;
return ret;
}
while (true) {
// 获取解码后的数据
parsenum++;
qDebug()<<"parsenum = " << parsenum <<endl;
ret = avcodec_receive_frame(ctx, frame);
AVMediaType avmediatype = ctx->codec_type;
qDebug()<<"avmediatype = "<< avmediatype << endl;//当前是音频还是视频,还是字幕。从结果来看,从解码器解码解码后的结果来看,这个值都是1,代表的是AVMEDIA_TYPE_AUDIO
//那么这里有个问题了,为什么都是AVMEDIA_TYPE_AUDIO,但是在解码的时候,有一部分的nbchannels,sample_rate,nb_samples打印不出来呢?加了parsenum的log发现,当一次avpacket发送过来的时候,avframe读取了两次,第一次的时候AAc 是有头部的,第二次是没有头的,因此第二次读取不出来
qDebug()<<"ctx->codec->name = "<< ctx->codec->name << endl;//解码器的名称,结果是aac
qDebug()<<"ctx->codec->id = "<< ctx->codec->id << endl;// 解码器的id,是唯一的,86018,对应16进制15002,对应code是:AV_CODEC_ID_AAC
qDebug()<<"ctx->codec_id = "<< ctx->codec_id << endl;//解码器的id,是唯一的,86018,对应16进制15002,对应code是:AV_CODEC_ID_AAC
qDebug()<<"frame->pkt_size = "<< frame->pkt_size << endl;//
AVSampleFormat avsampleformat = (AVSampleFormat)frame->format;
int nbchannels = frame->ch_layout.nb_channels;
int sample_rate = frame->sample_rate;
int nb_samples = frame->nb_samples;
qDebug()<<"avsampleformat = "<< avsampleformat << endl; //采样格式,使用 AAC 解码器,这个值是8,对应AV_SAMPLE_FMT_S32P;;;使用 FDK_AAC 解码器,这个值是1,对应的AV_SAMPLE_FMT_S16
qDebug()<<"nbchannels = "<< nbchannels << endl;//声道数
qDebug()<<"sample_rate = "<< sample_rate << endl;//采样率。
qDebug()<<"nb_samples = "<< nb_samples << endl;//这个值的含义是number of audio samples (per channel) described by this frame---当前frame 每个声道含有的audio samples,如果是AAC,在满帧的情况下,这个值是1024.
int data_size = av_get_bytes_per_sample(ctx->sample_fmt);
qDebug()<<"data_size = "<< data_size << endl;//返回每个样本的字节数,使用 AAC 解码器,这个值是4
if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
return 0;
} else if (ret < 0) {
ERROR_BUF(ret);
qDebug() << "avcodec_receive_frame error" << errbuf;
return ret;
}
// 第十一步:将解码后的数据写入文件,注意的是:这里要怎么存储决定于解码器是什么解码器。
if(av_sample_fmt_is_planar(avsampleformat)){
//如果是planner格式。则需要如下的方法存储。那么在avframe中的排列是LLLLLLLLRRRRRRRR,我们最后要存储成LRLRLRLRLRLRLRLR,
//frame->nb_samples的值表示每个声道有多少个audio samples(number of audio samples (per channel) described by this frame)
//frame->ch_layout.nb_channels的值表示的有多少个声道。
//对于每一个audio sample,先将每一个audio sample的第一个声道存储。
for (int i = 0; i < frame->nb_samples; i++)//frame->nb_samples,表示的是每一个声道拥有的 audio samples
{
for (int ch = 0; ch < frame->ch_layout.nb_channels; ch++) // 交错的方式写入, 大部分float的格式输出
//fwrite(frame->data[ch] + data_size*i, 1, data_size, outfile);
//要将LLLLRRRR,变成LRLRLRLR。这块要仔细看,从LLLLRRRR变成LRLRLRLR的角度去看
outFile.write((const char *)frame->data[ch]+data_size*i,data_size);
// ffplay -ar 48000 -ac 2 -f f32le out_new_aac.pcm
// ffmpeg -codecs|findstr 32
}
}else{
//如果不是planner格式,音频的格式在第一个平面,因此存储在第一个平面就好了
outFile.write((char *) frame->data[0], frame->linesize[0]);
// ffplay -ar 44100 -ac 2 -f s16le out_new_lib_fdk_aac.pcm
// ffmpeg -codecs|findstr s16
}
}
}
//第十二步:刷新缓冲
// flush解码器
// pkt->data = NULL;
// pkt->size = 0;
decode(avCodecContext, nullptr, avFrame, outFile);
// 设置输出参数
out.pcmSampleRate = avCodecContext->sample_rate;
out.pcmSampleFmt = avCodecContext->sample_fmt;
out.pcmchLayout = avCodecContext->channel_layout;
end:
inFile.close();
outFile.close();
av_frame_free(&avFrame);
av_packet_free(&avpacket);
av_parser_close(avcodecParserContext);
avcodec_free_context(&avCodecContext);
qDebug()<< "aacDecode end "<<endl;
return ret;
/* //第八步,从文件中读取数据这段code可以转换。
* 注意:从171行代码--255 行代码被替换,为 行--- 行
* 这是因为最开始的时候,
* 代码是仿照解析另一种格式的代码实现的,当解析的剩余代码小于 REFILL_THRESH 时,会将剩余的数据重新弄到 数组 开始位置。以防止放不下。
* 但是实际上ffmepg在解码aac的时候已经想到了如何处理,因此不用使用REFILL_THRESH
*/
/*
* start
//解码
// 读取数据,从infile(aac)文件中读取数据,读取到inData里面。大小为 IN_DATA_SIZE
//注意,从inFile(aac)文件里面先读取大小为 IN_DATA_SIZE 的数据 到 inData 中。
inLen = inFile.read(inData, IN_DATA_SIZE);
//将读取到inData 的数据进行处理。存放在avpacket中.
//注意这里,主要 inLen大于0,就会不停的循环。知道 inData中的数据被读取完毕,这里看起来怪怪的,一次性读完不行吗?
//实际上,inLen大小的数据,会被解析很多次,每次的大小都很小于inLen。
//看到这里,
while(inLen>0){
// 经过解析器上下文处理
//参数1:解析器上下文
//参数2:解码器上下文
//参数3:传出data数据,从参数5中读取到的数据经过 解析器 和 解码器 处理后,存放到这里
//参数4:传出data数据大小,从参数5中读取到的数据经过 解析器 和 解码器 处理后的大小,存放到这里
//参数5:要读取的数据地址
//参数6:要读取的数据地址大小
//参数7: 是否pts数据
//参数7: *@param pts输入演示时间戳。在这里输入AV_NOPTS_VALUE
//参数8: *@param dts输入解码时间戳。在这里输入AV_NOPTS_VALUE
//参数9: *@param pos输入流中的字节位置。在这里输入 0
// 从第5个参数buf中,拿数据,最多拿 buf_size个数据,实际上要拿很多次。
//返回值:为每次读取的数据大小。
// int av_parser_parse2(AVCodecParserContext *s,
// AVCodecContext *avctx,
// uint8_t **poutbuf,
// int *poutbuf_size,
// const uint8_t *buf,
// int buf_size,
// int64_t pts,
// int64_t dts,
// int64_t pos);
ret = av_parser_parse2(avcodecParserContext,
avCodecContext,
&avpacket->data,
&avpacket->size,
(uint8_t *) inData,
inLen,
AV_NOPTS_VALUE,
AV_NOPTS_VALUE,
0);
if (ret < 0) {
ERROR_BUF(ret);
qDebug() << "av_parser_parse2 error" << errbuf;
goto end;
}
// 跳过已经解析过的数据
inData += ret;
// 减去已经解析过的数据大小
inLen -= ret;
// 解码
if (avpacket->size > 0 && decode(avCodecContext, avpacket, avFrame, outFile) < 0) {
goto end;
}
// 如果inData数据不够了,需要再次从acc文件中读取。那么多大就算不够了,这个也是参考ffmpeg
if (inLen < REFILL_THRESH && !inEnd) {
// 剩余数据移动到缓冲区前
memmove(inDataArray, inData, inLen);
inData = inDataArray;
// 跨过已有数据,读取文件数据
int len = inFile.read(inData + inLen, IN_DATA_SIZE - inLen);
if (len > 0) {
inLen += len;
} else {
inEnd = 1;
}
}
}
end*/