全景视频的投影转换及编码

作     者：于宁 

作者单位：北京交通大学 

学位级别：硕士

导师姓名：林春雨

授予年度：2020年

学科分类：0810[工学-信息与通信工程] 08[工学] 

主      题：全景视频投影 全景视频编码 HEVC 全景视频球面特性 

摘      要：随着虚拟现实技术的飞速发展,全景视频作为其重要应用之一,广泛应用到各个领域。全景视频优化了人们的视频观看体验,为生活带来极大的新意和便利,也为许许多多相关技术的进步带来更多机遇和挑战。本文围绕全景视频处理中非常重要的两个步骤——投影和编码展开,针对投影和编码过程的现有问题提出了有效的解决方案和相应算法,工作概述如下:（1）由于现有标准立方体与球面的投影转换性能仍存在提升空间,我们提出了一种后处理方法,以提升客户端解码后的全景视频质量。该方法将卷积神经网络（Convolutional Neural Network,简称CNN）和传统插值相结合以提高立方体到ERP（Equirectangular Projection,简称ERP）的转换性能。我们从投影特性入手,通过对立方体与球面的投影规律进行分析,推导出ERP上球面像素的最优边界阈值表达式,以达到阈值内外分别进行处理的目的,实验证明本方法可以很大程度地提升全景图像质量。同时,我们利用Marsaglia模型提出一种新的评价准则,使几何转换过程的评价更简单且更准确。（2）由于全景视频几何投影面边界处具有形变、内容不连续和断开等问题,为此,我们以立方体格式为例,提出了一种基于球面插值的padding填充方法,使得边界像素也有高质量的相邻像素,从而提升编码时边界像素的质量。Padding像素直接来自无损球面,使得padding与相接处内容连续且像素值更加准确,同时形变程度较小。由于球面是封闭的,且通过球面进行插值的方法比在立方体面处理更为精确,因此我们的方法更为普适和合理。实验结果表明,我们提出的算法在padding区域的主观质量上有更好的表现,与HEVC（High Efficiency Video Coding,简称HEVC）相比,该算法同时可以提升客观质量。（3）全景视频编码面临的最主要问题是形变,而现有方法没有预测全景视频形变的能力。为此,我们首次提出了一种基于球面帧旋转预测的全景视频压缩方案,增加预测形变程度更准确的预测帧作为参考帧,从而提升全景视频压缩性能。与已有2D视频神经网络未来帧预测方法相比,旋转预测帧的生成更加便捷、准确且快速;同时,该方案可以直接处理原始分辨率的全景视频,能够很好地契合每一帧视频的内容,方案还可以良好地兼容到传统视频编码标准中。实验表明,加入旋转预测帧后可以更加准确地预测下一帧形变,被参考比例较高,最终能够明显提高压缩性能。