视频技术的最新进展潜在地增加了对流传输和广播视频内容的需求。在今日 人们依靠视频来相识并建立联系,借助超高清(Ultra High Definition,UHD)、虚 拟现实(Virtual Reality,VR)和 360 全景视频等技术,人们可以在线捕捉并分享最 快乐最想记住的美好时刻。
毫无疑问,视频技术的快速发展带来视频数据量大的问题,而有效地压缩视 频将变得非常重要,特别是在处理高图像质量视频传输时。2013 年,高效视频编 码标准比之前的标准减少了 50%的比特。然而,由于视频技术将继续呈上升趋势, 现在的 H.265/HEVC 视频标准已难以满足人们,所以迫切需要研究多功能视频编 码标准来解决高图像质量视频带来的难题。所以,国际电信联盟和运动图像专家 组这两个标准化机构于 2017 年 10 月开始开发未来的多功能视频编码标准,将在 目前 H.265/HEVC 的基础上进行添加新的技术或改进其中已有的技术,目的是在 H.265/HEVC 基础上将码率再降低 50%。
H.266/VVC 编码框架
与上一代编码技术 H.265/HEVC 相比,H.266/VVC 编码框架仍由块划分、预测、变换量化、环路滤波、熵编码等多个模块组成,但在每个 模块中都添加了提高视频编码效果的关键技术。
(1)块划分
H.266/VVC 编码是基于编码单元来实现编码处理。首先将接收到的每帧视 频图像划分为许多个编码树单元(Coding tree units,CTU),然后使用具有四叉树、 二叉树、三叉树的混合树结构将 CTU 划分为许多编码单元(Coding units,CU),再 对每个 CU 进行预测等后续模块处理,最后得到视频压缩后的码流。
(2)预测
视频编码中预测模块是指利用视频图像帧中或相邻图像帧之间,像素与像素 之间存在极强的像素相关性的原理,来剔除时域和空域中的数据冗余,而预测模 块又分为帧内预测技术和帧间预测技术。
帧内预测是指考虑到图像块中存在空域 冗余的特性(即一帧图像内相邻像素之间存在较强的相似性),使用当前图像块 的邻近已编码处理过的像素块预测出当前块像素值的过程。在新一代视频编码 H.266/VVC 帧内预测中新增了许多技术,如更多角度方向预测、非正方形的广角 帧内预测(Wide-angle intra prediction for non-square blocks,WAIP)、位置决定的帧 内预测组合(Position dependent intra prediction combination,PDPC)、帧内子块划 分技术(Intra sub-partitions,ISP)、跨分量线性模型预测(Cross-component linear model prediction,CCLM)、多参考行帧内预测(Multi-line intra prediction,MLIP)、 矩阵加权帧内预测(Matrix based intra prediction,MIP)等技术。
帧间预测是指由于视频由不间断的图像帧组成,而相邻的图像帧之间存在极 强图像数据相似度,通过记录相邻已编码的图像帧与当前帧之间的运动信息,来 预测当前未编码帧,解决时域存在的数据冗余问题。在新一代视频编码 H.266/VVC 帧间预测中新增了如用于帧间预测的三角形划分、仿射运动补偿预 测等新技术。
(3)变换量化
变换是通常指将经过预测后的残差值进行离散变换(Discrete Transform,DT)。 由于图像大概率会具有简单纹理且平整的区域,经过变换处理后,将空域上较为 分散的这些区域的数据较为集中在变换域某个区域中,从而有效减少视频图像的 数据冗余。通常情况下,经过变换处理后的 DT 系数往往都处在一个较大的连续 取值范围。为了减少 DT 系数的取值范围,对连续的变换系数进行量化,实现进 一步减少数据量的目的,仅会损失一定的数据精度。在 H.266/VVC 中为了提高 变换和量化的计算速度,在编码时仍同时执行变换和量化。
除了 H.265/HEVC 中已有的 DCT2 变换核外,还新添加了 DST7、DCT8 变 换核,通过根据不同的预测模式选择适合的变换核,以达到最佳的变换效果。
(4)熵编码
在信息论中,熵编码是一种通用的无损数据编码压缩技术,该技术用二进制 流代替了图像数据信息。熵编码与变换和量化相结合,可显著减小视频图像数据。 熵编码将承载视频图像信息的数据(如运动矢量信息、变换量化系数等)变化为 可以进行存储或传输的二进制数据流。原始视频经过熵编码处理后便是压缩后的 码流。
(5)滤波及补偿
由于 H.266/VVC 视频编码是通过对 CU 进行块划分后再预测的,所以经过 H.266/VVC 视频编码后的视频会出现图像方块效应、振铃效应、图像质量差等失 真现象。为了减少视频失真现象所带来的不好视觉体验,H.266/VVC 编码中采用 去方块滤波(De-Blocking Filter,DBF)减少方块效应,并在 DBF 中参考重建的亮 度分量的水平来决定滤波器的强度,使得滤波效果更好。H.266/VVC 针对存在的 振铃效应现象,继续采用样本自适应补偿滤波进行削弱。同时,还应用了基于块 的自适应环路滤波(Adaptive Loop Filter,ALF) 以提高图像的主观质量评价的同 时提高 H.266/VVC 编码效率。