基于卷积神经网络的视频超分辨技术研究

作     者：敬琳萍 

作者单位：电子科技大学 

学位级别：硕士

导师姓名：傅志中

授予年度：2019年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：视频超分辨 卷积神经网络 混合分辨率视频 残差学习 多退化因素 

摘      要：近年来,高清电视、在线直播等视频应用出现在人们工作与生活中的各个方面,然而由于各应用系统存在处理能力、存储容量以及传输带宽等因素的制约,现有的视频系统难以提供充足的高清视频源。为了得到高质量的视觉效果,视频超分辨技术成为了目前图像领域中备受关注的重要研究方向。视频超分辨是将低分辨率视频帧经过相关的图像处理算法,增加其像素密度,恢复其退化过程中丢失的细节信息,从而得到对应的高分辨率视频帧。现有的一些视频超分辨方法是利用当前低分辨率视频帧及其相邻视频帧来实现当前帧的超分辨。由于当前帧和相邻帧都是低分辨率图像,缺少包含细节纹理的高频信息,因此,在此基础上恢复的高分辨率视频帧仍存在细节不够准确,甚至过度模糊的问题。此外,在实际应用中,视频帧的退化方法复杂多样,也使得这些超分辨方法的结果不如预期。本文从以上两个问题出发展开相关研究工作,主要研究内容如下:1.结合卷积神经网络与视频帧图像的特点,提出了一种基于混合分辨率模型的视频超分辨方法,其网络模型的输入是当前低分辨率帧和与其相关的高清帧,而不是连续的低分辨率帧。混合分辨率模型利用高清帧提供高频信息的先验知识,提升网络模型对边缘细节的恢复能力。同时引入残差学习,实现不同层次特征的跳跃连接,增加网络模型的非线性映射能力。本文通过多组对比实验详细地分析了混合分辨率模型、残差学习以及运动模块对网络模型性能的影响。实验结果表明,与现有方法对比,本文提出的方法能够获得主客观性能更好的视频超分辨结果。2.现有的超分辨方法大多只考虑了双三次下采样这一种退化方式,一旦退化方法更加复杂,其超分辨质量则有所下降。对于这个问题,本文在混合分辨率模型的基础上提出了一种针对多退化因素的视频超分辨方法,涉及的退化因素除了双三次下采样,还增加了模糊和噪声两种常见的退化因素,使得低分辨率视频帧更加接近实际应用中的图像。本文将退化因素转换为退化特征图,提供退化方式的先验知识,同时进一步改进退化特征图的估计模型来适应退化方式未知的视频帧。通过实验与现有方法对比,本文提出的方法可以较好地处理多退化因素的视频超分辨问题。