基于注意力机制的视频超分辨方法的研究

作     者：乔雨楠 

作者单位：安徽工业大学 

学位级别：硕士

导师姓名：储岳中;刘恒

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：视频超分辨 注意力机制 注意力相关性 特征对齐 光流估计 

摘      要：近些年,在计算机视觉领域中,视频超分辨任务作为底层视觉任务的代表,越来越受到研究学者们的广泛关注。视频超分辨的目的以及原理与图像超分辨相差无几,所以使用一般的单幅图像超分辨方法也是可以解决视频超分辨问题的。但是相比于图像超分辨,视频超分辨存在两大挑战,一是视频帧间的特征对齐,通过相邻帧与目标帧的对齐处理运动信息;二是视频帧间融合,保证视频在时序上是连贯一致的。目前,利用深度学习解决视频超分辨任务的方法越来越多,效果也在一直精进。本文主要基于深度学习中的注意力机制,探讨了注意力机制以及相关的深度学习方法在视频超分辨算法和应用中的可行性和有效性。本文首先介绍了视频超分辨的研究现状,然后解释了视频超分辨技术和注意力机制的原理并分析了应用相关技术的超分辨方法。最后提出了不同的基于注意力的视频超分辨模型并对模型的应用和效果进行研究分析。(1)具有自注意力对齐功能的双重注意力可实现有效的视频超分辨由于目前很多视频超分辨模型中的对齐方法是运动补偿,致使模型参数过多,计算量大。因此,提出利用自注意力模式进行对齐,并采用双重注意力进行特征增强。相比于已有的一些方法在很大程度上减小了模型的计算负担。另外,鉴于传统残差块缺少层级之间的联系,我们采用残差密集块来获得更深层的特征。实验结果证明该方法对于恢复高分辨率视频的有效性。(2)基于视频超分辨中注意力相关性的研究针对目前利用两个注意力的模型都没有对两个注意力之间的关系进行专门的研究。因此,提出了一个简明的验证模型来对两个注意力之间是否存在线性相关性进行了探究分析,并利用可视化方式验证了两个注意力之间的相互独立性。(3)基于多个注意力结合光流的视频超分辨根据视频中存在程度不同的运动信息,提出了双阶段特征对齐的思想。光流的优势在于解决微小程度运动的估计,而可变形卷积具有良好的形变建模能力,可以解决大型运动的估计。实验结果表明该思路结合注意力的加权增强能力可以有效实现视频恢复的性能。