基于变分自编码框架的图像视频压缩研究

作     者：吴耀军 

作者单位：中国科学技术大学 

学位级别：硕士

导师姓名：陈志波

授予年度：2021年

学科分类：0810[工学-信息与通信工程] 08[工学] 081001[工学-通信与信息系统] 

主      题：图像压缩 视频压缩 变分自编码器 自回归模型 加速算法 注意力机制 生成对抗网络 

摘      要：编码技术作为压缩媒体信息、节省网络带宽和存储资源的有效手段一直以来都得到了广泛的应用。传统编解码技术通过增加额外的计算复杂度的方式按照每十年提升50%性能的速度发展。发展至今,现有最新的编码标准已经集成了较多的复杂模块,其进一步提升的难度不断提高。得益于深度学习的发展,基于变分自编码器的压缩技术在近几年得到了快速发展,其中图像的压缩方案已经在几年内追上了最新传统编解码器的性能。而且作为新的压缩框架,基于变分自编码器的压缩方案还有很多可以尝试进一步优化性能的空间。因此,探索变分自编码器压缩框架对提高编码性能而言显得十分重要。本文针对图像和视频这两类媒体内容,重点研究了基于变分自编码器的压缩方案,并从编码性能和编码速度等角度考虑改进方案。论文的主要贡献和创新点如下:（1）本文提出基于3D上下文和主观优化的图像编解码方案。与直接用自回归模型建模空间相关性以实现熵编码不同,所提方案设计了 3D的自回归模型在建模空间相关性同时建模了隐变量通道的相关性,从而提升了性能。此外,与一般方案用均方差作为失真优化模型不同,所提方案考虑到了失真函数与主观质量的差异,构建了多失真函数加权组合的方式指导模型训练。（2）本文提出基于块的图像编解码加速方法。不同于以整帧作为编码单元的压缩方案,该方法以块为单位来实现图像的压缩。分块压缩给模型带来了良好的并行性,可以更好的提高编解码速度。同时为了降低分块对性能的影响,该方案引入了预测和后处理模块。实验证明所提方案和VTM 8.0相比有4.1%的性能提升,并和已有工作相比有提升了大约十倍的速度。（3）本文提出记忆后回忆的视频压缩框架。与传统的方案不同,我们从语义角度利用视频的结构信息,将一组视频帧分解为包含外观信息的全局特征和包含运动信息的骨架特征。重建时,我们利用了注意力机制将两个信息进行融合,并结合生成对抗网络实现帧的重建。实验结果表明该框架在人类运动视频上取得了比H.265更好的性能。