基于深度学习的图像超分辨率重建

作     者：刘立柱 

作者单位：沈阳航空航天大学 

学位级别：硕士

导师姓名：李轩;徐宏伟

授予年度：2022年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：图像超分辨率 注意力机制 特征蒸馏 残差特征融合 

摘      要：近年来,得益于计算机性能的巨大提升和深度学习的强大学习能力,基于深度卷积神经网络的单幅图像超分辨率技术取得了很大进展。在图像超分辨重建领域,算法性能的提升主要依赖网络深度的增加,随着网络深度的增加,参数量和计算量也越来越大,对硬件的要求越来越高,很难在移动端部署;低分辨率图像及特征包含丰富的低频信息,缺失边缘、纹理等高频细节信息,但在特征提取时高低频信息被平等对待,会阻碍网络进行特征提取。为了解决上述问题,本文提出了两种研究算法:(1)基于注意力机制的残差特征融合网络的图像超分辨率重建算法。本算法提出的残差特征融合网络通过串并联的方式结合残差注意力模块和特征蒸馏操作,保证有效提取特征的同时减少冗余参数;采用分块思想构建深层网络,并结合长短跳跃连接,使得主干网络专注于提取高频特征;残差特征融合阶段,充分利用低、中、高频信息,获得更丰富的特征;最后通过亚像素卷积层进行图像重建,得到最终的超分辨率图像。实验证明本算法以更少的参数量超越了部分大型超分模型性能,接近了最优超分模型的性能。(2)多分支残差特征蒸馏网络的图像超分辨率重建算法。为了设计一个更轻量化的算法,结合残差特征蒸馏和分块思想,对网络进一步整改。设计了一个多分支残差模块可以进一步结合多尺度和上下文信息提取更精细的特征;在残差特征蒸馏模块基础上增加瓶颈注意力模块对融合特征进一步增强;通过分块思想构建一般深度的网络结构;通过长短跳连接保证训练稳定,让主干网络依然专注于提取边缘纹理等高频特征;最后将低、中、高频特征融合,重建出最终的超分辨图像。实验结果表明该算法在模型复杂度和性能上达到更好的平衡。算法参数量进一步大幅度减少,超分性能超越了绝大数轻量化算法,接近部分大型超分算法。