多注意力结合光流的视频超分辨方法

作     者：储岳中 乔雨楠 CHU Yue-zhong;QIAO Yu-nan

作者机构：安徽工业大学计算机科学与技术学院安徽马鞍山243000 

出 版 物：《重庆工商大学学报（自然科学版）》 (Journal of Chongqing Technology and Business University:Natural Science Edition)

年 卷 期：2022年第39卷第4期

页      面：1-8页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(61971004) 

主　　题：深度学习 注意力机制 特征对齐 光流估计 视频超分辨 

摘      要：针对现如今监控摄像、卫星遥感以及视频娱乐等领域对视频图像的清晰度要求越来越高,而目前大部分视频超分辨方法存在参数量大、恢复的视频存在抖动等问题,提出了一种多注意力结合光流的视频超分辨方法,通过引入多个注意力包括空间注意力、通道注意力以及自注意力来提升超分辨性能。具体而言,作为一种特征加权的增强方法,这些注意力可以捕获视频帧的时空特征并增强自适应性和通道间的依赖性,实现全局学习的功能;同时,提出双阶段特征对齐思路,首先利用光流对视频进行估计,进行第一阶段的特征对齐,然后引入长短是记忆网络结构增强位置和通道的特征融合,进行第二阶段的特征对齐,以防止恢复的视频帧出现抖动。实验结果表明:该方法在评估标准和可视化效果方面都取得了令人满意的效果。