基于注意力机制和多尺度的图像超分辨率研究

作     者：李星震 

作者单位：西北师范大学 

学位级别：硕士

导师姓名：任小康;祝唯微

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：注意力机制 多尺度特征融合 Octave卷积 超分辨率 

摘      要：图像超分辨率重建作为计算机数字图像处理领域的热点研究方向,该技术在实际中已经被广泛应用于军事、医学、监控和遥感等众多领域。近几年来,深度学习在图像处理领域被广泛应用,并在图像超分辨率重建技术的研究上取得重大突破。然而,目前基于深度学习的图像超分辨率重建技术仍存在一些不足,第一,对待图像中的高频细节信息和低频全局信息缺乏区分度,不能高效的利用高频特征,导致重建图像缺少纹理细节;第二,只能提取单一尺度的特征信息,会导致重建图像中的部分关键信息丢失。本文将围绕以上两点展开研究,提出两种图像超分辨率重建方法来解决以上问题。（1）提出一种基于注意力机制和多尺度特征融合的图像超分辨率模型。该方法使用生成对抗网络结合通道注意力机制,建立不同通道间的特征依赖关系,自适应学习调整不同频率特征间的权重,使网络模型训练时更集中于对高频特征。再结合多尺度特征融合的并联生成器网络模型,可以提取不同网络层的特征并融合不同尺度的特征信息,使生成器网络模型可以学习到特征图上更完整的信息。同时加入通道注意力后的判别器对高频细节特征更加敏感,更加严格地监督生成网络工作。实验结果表明,通过该方法重建的图像质量有较大提升。（2）提出一种结合Octave卷积（Octave Convolution）和通道注意力的残差结构,进而结合SRGAN提出一种基于Octave卷积和注意力机制的多尺度图像超分辨率重建模型。Octave卷积可将特征图划分为高频部分和低频部分,先分离再进行多尺度特征融合。分离过程中通过压缩低频特征,减少低频冗余,同时变相增大感受野,可获得更多上下文信息。为进一步提高对高频特征的捕捉,分别对分离后的高频特征和低频特征加入通道注意力,使作用在高频和低频两部分的注意力更加集中,再通过Octave卷积将处理过的高频和低频特征进行多尺度特征融合来丰富生成图像的内容。改进残差结构后的生成器模型可以在减少低频特征影响的同时集中注意力于高频特征,从而更精确地提取并融合不同尺度的特征,生成细节丰富的图像。实验结果表明,该方法可以有效提高图像超分辨率重建的效果,也表明注意力机制和多尺度特征融合可以提高图像超分辨率重建模型的性能。