基于空时特征增强的图像视频超分辨率重构算法研究

作     者：张丹 

作者单位：重庆大学 

学位级别：硕士

导师姓名：朱冰莲

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：超分辨率重构 交叉投影 注意力机制 双向对齐 时空修正 

摘      要：超分辨率重构旨在从遭受了模糊、噪声以及降采样的低质图像或视频中恢复出对应的高质量图像或视频,目前已大量应用在医学图像处理、视频监控及卫星遥感等领域。作为经典的不适定问题,针对图像重构时难以准确地恢复出纹理信息、视频重构中存在运动模糊和跳变现象的问题,已经提出了很多模型,重构性能得到了不同程度的改善。其中,相较于传统算法,基于深度学习的方法以其强大的非线性表达能力而有更好的表现,但纹理的重构效果仍有待提高。因此,本文以图像和视频为研究对象,分别提出了图像、视频超分辨率重构算法。主要内容如下:本文首先研究了图像超分辨率重构算法。现有的模型要么利用单一尺度特征,要么对多个尺度的特征采用级联的方式提取深度特征,没有利用或者未充分利用高、低分辨率之间的相互依赖关系,为此,本文应用空间特征增强,提出了基于多分支多分辨率交叉投影的图像超分辨率重构算法。该模型具有多个分辨率不同的并行分支,以交叉投影的方式交换信息,并以注意单元自适应地学习通道和空间位置的重要性;为了巩固细节恢复,还根据模型特点定制了损失函数。最终,模型以14.2M参数做到了较高质量的重构,在5个常用测试集上均有较好的PSNR/SSIM得分;视觉感知上,该模型能有效抑制伪影和混叠,生成更清晰的边缘。本文第二个贡献是提出了一个视频时空超分辨率重构模型。现有算法中,二阶段方案的时间超分辨率过程和空间超分辨率过程缺乏关联性;对于一阶段方法,关键问题在于如何保证插入的中间帧特征符合真实运动,以及如何利用帧间相关性和时空的长期依赖关系,为此,本文提出了基于双向对齐和时空修正的视频时空超分辨率重构算法。模型充分利用时空信息,通过双向对齐为相邻帧插入缺失的中间帧特征;在基于时空信息的特征提取与融合模块中利用时空修正方案校正特征,并通过多个残差块提取深度特征。最终,模型以20.32M参数在4个不同场景上均能稳健运行,与当前的主流方法比较,都获得了最佳的定量评估结果,尤其在快速运动测试集Vimeo-Fast上,PSNR值为37.25d B,较次优模型提升了0.21d B;从视觉上,本模型重构出的高帧率高分辨率视频也更自然。