基于卷积神经网络和Transformer的图像超分辨率算法研究

作     者：吴一鸣 

作者单位：长沙理工大学 

学位级别：硕士

导师姓名：王进;何施茗;颜盾

授予年度：2022年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：超分辨率 深度学习 密集残差模块 知识蒸馏 高光谱 自注意力 

摘      要：图像是记录人们生活和历史场景重现的重要载体,特别是在交通流量预测,遥感以及刑侦取证等城市治理方面拥有非常多的图像数据。随着高分辨率的显示设备的涌现,低分辨率的图像无法在高分辨率设备上获得良好的视觉效果。图像超分辨率重建技术不仅能够从清晰度较低的图像中恢复清晰度,而且由于超分辨率重建是对所拍摄的照片进行处理,能够节约更换或升级摄像头元器件的成本。因此图像超分辨率有很高的研究价值。本文主要展开了以下研究。基于深度学习的图像超分辨率算法一般要比传统基于稀疏表示的超分辨率算法拥有更好的重建效果。但基于深度学习算法通常拥有参数量较大以及计算量较多等问题,无法应用在算力较小的移动终端设备上。此外,由于Transformer结构带来更大感受野和增强特征之间的相关性对图像处理方面有着提升作用,而大多高光谱超分辨率算法还在使用感受野较小的卷积操作来实现。针对这两个问题,本文展开了研究,论文主要取得了以下三点成果:(1)针对使用更少的参数量得到更好的自然图像恢复效果,提出了反馈虚影残差密集网络(Feedback Ghost Residual Dense Network,FGRDN)。首先,使用了反馈机制作为网络的框架,通过高层特征去精炼低层特征。其次,我们提出了虚影残差密集模块(Ghost Residual Dense Block,GRDB),使用虚影(Ghost)模块代替残差密集模块(Residual Dense Block,RDB)中的特征提取的卷积来去除冗余通道,减少网络深度的加深所带来的参数量。最后,在GRDB模块的末尾使用了空间和通道注意力机制,能从空间和通道中学习特征映射中更有用的信息。改进后的算法收敛速度更快并且参数量更小,图像边缘和纹理重建效果明显提高,峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构相似度(Structure Similarity,SSIM)也优于其他轻量级算法。(2)进一步轻量化自然图像超分辨率轻量化网络结构,并提出增强的信息多重蒸馏网络(Enhanced Information Multiple Distillation Network,EIMDN)。该网络以反馈机制为框架,通过高级细化来获得较低的特征。进一步,我们将现有的轻量级超分辨率信息多重蒸馏网络(Information Multiple Distillation Network,IMDN)的子模块信息多重蒸馏模块(Information Multiple Distillation Block,IMDB)中的特征提取卷积操作替换成了Ghost 模块,提出了(Enhanced Information Multiple Distillation Block,EIMDB)模块,减少了计算量和参数量。最后,我们在IMDB和EIMNB中使用了坐标注意力机制(Coordinate Attention,CA),提高了空间和通道的重要信息提取能力。与其他轻量级算法相比,该算法可以在更少参数量和计算量的情况下更快地实现收敛,在PSNR和SSIM更高的情况下,显著提高了网络重构图像纹理和目标轮廓的性能。(3)针对卷积神经网络感受野较小,无法获取全局空间信息,导致空间分辨率重构效果较差的问题。提出了基于三维(Three Dimension,3D)卷积和转换器结构的超分辨率(3D-Transformer Hyperspectral Super-Resolution,3D-THSR)算法,使用了转换器结构,通过自注意力机制获取了全局空间信息。具体来说,我们引入了转换器结构作为特征提取部分,加强了全局空间信息的学习能力。同时,为了提取不同光谱波段之间的相关性,我们在转换器的前馈网络中加入了 3D卷积模块,通过融合光谱与空间信息来提取高层特征。最后,我们重新设计了损失函数,使用平均绝对误差(Mean Absolute Deviation,MAE)损失、空间光谱全变分项(Spatial Spectrum Total Variation,SSTV)损失和光谱角匹配(Spectral Angle Mapper,SAM)损失,减少光谱之间的畸变,确保各个光谱波段之间的纯净度。通过对比其它基于卷积神经网络的单一图像高光谱超分辨率图像重建的实验以及对模块的消融实验可以证明,所提出的算法具有更多的空间纹理细节以及更低的光谱畸变量,取得了更好的重建效果。