参考文章：音视频高手课系列5-h264编码基础(宏块原理)
参考文章：切片slice与宏块，运动矢量
文章目录
- 使用videoEye分析视频宏块示例
- H.264宏块概念
- 1. 宏块的定义
- 2. 运动估计
- 3. 变换编码
- 4. 环路滤波
- 5. 注意：宏块的概念既适用于帧内编码，也适用于帧间编码
- 宏块是为了解决帧内压缩问题，还是帧间压缩问题？
- 参考文献
使用videoEye分析视频宏块示例
使用videoEye软件，导入视频，点击单帧解码分析：
量化参数分析：
宏块类型分析：
H.264宏块概念
H.264也被称为MPEG-4第10部分，是一种广泛使用的视频压缩标准。这个标准由ITU-T视频编码专家组（VCEG）与ISO/IEC移动专家组（MPEG）联合开发，因此也被称为AVC（Advanced Video Coding，高级视频编码）。H.264视频编码主要用于高清电视广播、视频会议、流媒体等应用场景。
在H.264中，宏块（Macroblock）是一个重要的基本单元。它涉及到许多关键技术和算法，包括运动估计、变换编码、环路滤波等。接下来，我们将深入探讨H.264中的宏块概念。
1. 宏块的定义
H.264中的宏块（Macroblock）通常是指16x16像素的图像区域。每个宏块都可以独立地进行运动估计、变换编码、环路滤波等处理。H.264的编解码器会逐个宏块地处理整个视频帧。
// 一个简单的表示宏块的结构
typedef struct {
int width; // 宏块的宽度
int height; // 宏块的高度
int data[16][16]; // 宏块的像素数据
} Macroblock;
2. 运动估计
在视频序列中，相邻的帧之间通常存在大量的空间冗余信息。为了消除这些冗余信息，H.264采用了运动估计技术。具体来说，对于当前帧的一个宏块，编码器会在参考帧中找到一个最匹配的区域，然后只需要记录下这个区域的位置偏移和残差信息，就可以有效地压缩视频数据。
3. 变换编码
变换编码是H.264中另一个重要的技术。对于每个宏块，编码器会先进行DCT（Discrete Cosine Transform，离散余弦变换）或者整数变换，将像素值转化为频域系数，然后再通过量化、熵编码等步骤进一步压缩数据。
4. 环路滤波
为了减小压缩过程中的块效应，H.264引入了环路滤波技术。对于每个宏块，解码器会在IDCT（Inverse Discrete Cosine Transform，离散余弦反变换）之后，根据边界的强度和平滑度，选择性地对边界进行滤波处理。
5. 注意：宏块的概念既适用于帧内编码，也适用于帧间编码
在视频压缩中，一个帧（Frame）通常被划分为若干个宏块（Macroblock）。每个宏块通常包含16x16个像素点，这些像素点共享某些参数，例如运动矢量和编码模式等。
-
对于帧内编码（I-frame），每个宏块是独立进行编码的，与其他宏块无关。这就像我们在处理一张静态图片一样，将图片分割为多个小区域（即宏块），然后对每个小区域进行独立编码。
-
对于帧间编码（P-frame和B-frame），则需要利用视频序列中时间上的相关性，通过预测当前宏块与参考帧中的宏块之间的差异来实现编码。这种方式可以大大减少冗余信息，从而提高压缩效率。
宏块是为了解决帧内压缩问题，还是帧间压缩问题？
宏块（Macroblock）的概念用于解决视频压缩中的帧内压缩和帧间压缩问题。无论是在帧内编码还是帧间编码中，宏块都扮演着重要的角色。
-
帧内压缩：帧内压缩主要处理的是单一帧内部的数据冗余。每一帧被划分为若干个宏块，然后对每个宏块独立进行DCT（离散余弦变换）和量化等操作，从而实现数据的压缩。由于每个宏块是独立编码的，因此帧内编码也可以看作是一种基于宏块的空间压缩技术。
-
帧间压缩：帧间压缩则是利用连续帧之间的时间相关性来减少数据冗余。通过预测当前宏块与参考帧中的宏块之间的差异（运动估计），并只编码这种差异（运动补偿），从而实现数据的压缩。帧间编码也可以看作是一种基于宏块的时间压缩技术。
参考文献
- Wiegand, T., Sullivan, G. J., Bjontegaard, G., & Luthra, A. (2003). Overview of the H. 264/AVC video coding standard. IEEE Transactions on circuits and systems for video technology, 13(7), 560-576.
- Richardson, Iain E. G. “The H.264 advanced video compression standard.” John Wiley & Sons, 2010.
