基于注意力与自编码的图像超分辨率重建方法研究
作者单位:中国矿业大学
学位级别:硕士
导师姓名:刘兵
授予年度:2022年
学科分类:08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程]
主 题:超分辨率网络 多尺度卷积 注意力机制 自编码 深度学习
摘 要:图像超分辨率是图像处理领域的一项重要技术,旨在通过软件的方法重建并补全低分辨率图像丢失的信息,进而重建出清晰的高分辨率图像。近年来,虽然基于卷积神经网络的图像超分辨率算法得到了大力发展,但现有的大多数算法仍然只是单纯地通过深化或拓宽网络来促进网络性能的提高,导致在图像特征的提取和利用等方面仍然存在很多不足之处。为了解决现有方法中存在的问题,本文深入研究了基于注意力与自编码的图像超分辨率方法。主要研究内容如下:(1)针对图像特征提取和利用不充分,没有突出重要特征的问题,本文提出了深度连接的多尺度残差注意力模块,在充分提取和利用尺度特征和层次特征的同时还可以通过学习通道特征之间固有的局部相互依赖自适应地缩放通道特征,突出重要的通道特征。针对已有方法没有利用训练数据集样本之间的潜在相关性的问题,本文还设计了一种深度特征提取结构,通过在该结构中嵌入全局感知外部注意力模块来捕获不同样本之间的相关性,以进一步帮助超分辨率图像的重建,同时,该结构还可以为图像重建传输丰富的层次特征。(2)现有的图像超分辨率网络几乎都是通过拟合低、高分辨率图像之间的直接映射关系来重建高分辨率图像。然而,该过程是一个从无到有的重建丢失信息的病态过程,因此要获得好的重建图像质量相对困难。但高分辨率图像的自我重建则是一个将高分辨率图像进行稀疏编码再解码的过程,是一个从有到有的过程。因此,该任务比图像的超分辨率任务相对容易,且其重建的图像与超分辨率图像相比质量更优。基于此种思路,本文提出了一种基于交叉对齐双路自编码器的单图像超分辨率方法。通过设计一个交叉对齐的自编码超分辨率网络,实现了利用低分辨率图像和高分辨率图像的自我重建任务辅助完成图像超分辨率重建的任务。通过在公共数据集上进行实验,本文提出的基于外部注意力和多尺度残差注意力的方法不仅可以充分提取和利用图像特征,突出重要的通道特征,还可以利用不同样本之间的潜在相关性,有效提高了模型的重建性能;此外,通过对图像的自我重建任务和图像超分辨率重建任务的分析,创造性的提出了基于交叉对齐双路自编码器的单图像超分辨率方法。通过在多个测试集上定量和定性的实验和分析充分证明了本文提出的方法的有效性和优越性。该论文共有图29幅,表14个,参考文献88篇。