【音视频】播放音视频时发生了什么？视频的编解码 H264是什么？ MP4是什么？

✨播放一个视频的流程
✨为什么要编码（压缩）视频数据？
✨如何编码（压缩）数据
- 🎄简单的例子
- 🎄音视频编码方式
- 🎄视频编码格式
- - H264编码
  - 是什么？发展历程？
  - H.264基本单元
  - H.264的I帧，P帧，B帧
- 🎄音频编码格式
✨视频文件封装格式
✨解封装格式
✨视频解码
✨H264分层结构
- 🎄网络上传输H264视频数据的流程
- - VCL的结构关系
- 🎄NAL单元
✨ 参考文章

✨播放一个视频的流程

1.对音视频进行编码，一般用H.264编码标准
2.对编码后的音视频进行封装，一般封装为MP4格式
3.播放MP4视频，必须要解封装
4.解封装之后得到的是编码后的音视频编码流，必须解编码（压缩）
在这里插入图片描述

✨为什么要编码（压缩）视频数据？

在这里插入图片描述

视频是又一帧一帧的图片组成的，人眼有视觉暂留效应，当帧序列以一定的速率播放，我们就能看到连续的视频。

比如一个1920x1080分辨率，32位，每秒30帧的视频。一秒钟就要流过 1920x1080x32x30 = 237M的数据！！！

一个.rgb文件75.5mb，编码为.h264文件之后大概为525KB.

✨如何编码（压缩）数据

🎄简单的例子

比如大话西游朱茵的经典照，取两张图片，一个图片右眼是睁开的，一个图片右眼是闭着的。那么保存第二张图片的时候只需要记录这张图片和上一张图像的区别信息即可。

编码就是去除冗余。

在这里插入图片描述

从计算机的角度来说：比如一个全黑的图片，存储方法是100x100的数组，每个矩阵的值都是0。该数组是Int型，存储这个图片需要100x100x4字节的大小。

只需要用一个int记录该数组的数，即0。
然后再用两个int分别记录矩阵的长和宽。

就可以用这三个int变量来复原该图像。

🎄音视频编码方式

音视频开发——H264编解码总结

🎄视频编码格式

视频编码的作用：将视频像素数据（RGB，YUV 等）压缩成视频码流，从而降低视频的数据量。常用的音频编码方式有以下几种：
在这里插入图片描述

H264编码

打开斗鱼直播间，右键点击查看参考信息选项，会发现直播的视频流用的是H264编码方式。

在这里插入图片描述

是什么？发展历程？

H264，通常也被称之为H264/AVC（或者H.264/MPEG-4 AVC或MPEG-4/H.264 AVC）

H264是一种编码算法。是主流的编码标准。

像大多数看到的视频，如rmvb、avi、mp4、flv大多数是由h264进行编码，当然也会有不同的，如mpeg4、vp9这样冷门的编码。

H264视频编码发展历程
在这里插入图片描述

H.264基本单元

在H.264定义的结构中，一个视频图像编码后的数据叫做一帧。一帧是由一个或多个片（slice）组成的，一个片是由一个或多个宏块（MB）组成的（宏块是H264编码的基本单位），一个宏块是由16x16的yuv数据组成的。

H.264的I帧，P帧，B帧

I帧：关键帧，就是把一个图片直接压缩，压缩之后的内容就是I帧，它可以单独解码出一个完整的图像。

P帧：前向预测编码帧。记录本帧和之前的一个关键帧的差别。解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。

比如记录第三张图片，只需记录右下角的粉矩形，然后用这个信息叠加第一张图片，即可复原第三张图片。
在这里插入图片描述

B帧：双向预测编码帧，既要参考前面的，又要参考后面的。

比如想要记录第二张图片，它只需要记录右上角的椭圆，然后将它与第一张原始图片和第三张原始图片叠加即可复原第二张图片。
在这里插入图片描述

这种方法压缩效果很强。本来第二张图片是个很复杂的图片，它只需要记录第一张图片然后记录第二张第三张图片的部分信息就能复原第二张图片。

🎄音频编码格式

在这里插入图片描述
MP3 MP3，英文全称 MPEG-1 or MPEG-2 Audio Layer III，是曾经非常流行的一种数字音频编码和有损压缩格式，它被设计来大幅降低音频数据量。它是在 1991 年，由位于德国埃尔朗根的研究组织 Fraunhofer-Gesellschaft 的一组工程师发明和标准化的。MP3 的普及，曾对音乐产业造成极大的冲击与影响。