基于多级决策的VVC帧间及量化快速算法研究

作     者：牛伟宏 

作者单位：杭州电子科技大学 

学位级别：硕士

导师姓名：殷海兵

授予年度：2023年

学科分类：0810[工学-信息与通信工程] 08[工学] 

主      题：VVC HEVC 仿射运动估计 全零块 决策树 全连接神经网络 

摘      要：经济社会的快速发展刺激着人们生活水平的不断提高,由先前人们只能观看黑白电视到现在可以随时随地享受4K、8K等超高分辨率视频,这都是视频编码领域发展迅速的见证。与此同时会产生一个问题就是视频存储数据量爆炸式增长,在有限的带宽下,给存储和传输带来了巨大的挑战。为此,由联合视频探索小组(Joint Video Exploration Team,JVET)推出的最新一代通用视频编码(Versatile Video Coding,VVC)带来了极高的压缩效率,在保持相同视频质量的前提下,VVC相比上一代高效视频编码(High Efficiency Video Coding,HEVC)可以节省将近一半的码率。但换来的代价是编码器计算复杂度急剧提升、难以达到实时编码,而且给VVC编码器芯片的设计也带来了不小的挑战。帧间预测中的仿射运动估计(Affine Motion Estimation,AME)以及量化中的率失真遍历过程,使得帧间预测和量化的计算复杂度较高,本文针对这两个模块,提出了一种基于多级决策的帧间及量化快速算法,来降低整个VVC编码器的复杂度。针对帧间预测,本文对AME和帧间模式决策过程进行了加速。针对量化,本文通过提前对全零块进行检测,以此来跳过量化过程,进而降低复杂度。本文主要的创新及贡献有:1.针对帧间预测:(1)本文提出了一种三级决策方案来降低AME过程复杂度,分别是基于块划分的最优帧间模式决策、仿射运动搜索(Affine Motion Search,AMS)快速算法以及基于决策树的快速帧间模式决策;(2)提出三个阶段来加速AMS过程;首先,当两个控制点运动矢量(Control Point MotionVector,CPMV)平行时,直接跳过AMS过程;其次,在迭代CPMV更新过程中,当自定义值T小于上次迭代的T时,直接终止迭代;最后,在细粒度CPMV搜索过程中,率失真代价比较从每4个方向修改为每2个方向;(3)考虑到有些编码单元(Coding Unit,CU)同时遍历了平移运动估计(TranslationalMotion Estimation,TME)和AME,本文分析了最优模式选择的原因,并提取了8个特征,基于决策树模型预测最优帧间模式。这些特征包括绝对变换误差和(Sum ofAbsolute Transformed Difference,SATD)、标准差和梯度等。2.针对量化:(1)将全零块检测过程分成了三级,这三级分别是基于硬决策量化(Hard DecisionQuantization,HDQ)的真全零块检测、基于自适应阈值的伪全零块检测以及基于全连接神经网络的伪全零块检测,而且大部分全零块能够被这三级中的某一级检测出来;(2)在基于自适应阈值的伪全零块检测中,通过分析量化参数和变换单元(Transform Unit,TU)尺寸提出了一个自适应阈值。当变换系数位置索引小于自适应阈值时,认定为伪全零块;(3)在基于全连接神经网络的伪全零块检测中,除了一些像SATD和预量化系数这样的统计特征,本文还加入了新颖的上下文级语法元素特征,这些特征能够有效提高网络精度,并区分全零块和非全零块。实验结果表明,提出的基于多级决策的AME快速算法在Low Delay B(LDB)和Random Access(RA)配置下分别达到了10.20%和10.33%的时间节省,与此同时BD-Rate损失仅仅0.12%和0.14%;提出的基于多级决策的全零块检测算法在LDB和RA配置下分别达到了7.505%和7.049%的时间节省,而性能损失仅仅0.470%和0.578%。可以看出,本文提出的基于多级决策的帧间及量化快速算法可以在保证BD-Rate几乎不损失的前提下,极大降低VVC编码器复杂度。