基于生成对抗网络的图像超分辨率重建研究

作     者：黄志成 

作者单位：江西理工大学 

学位级别：硕士

导师姓名：贺智明

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：超分辨率重建 注意力机制 深度学习 生成对抗网络 卷积神经网络 

摘      要：随着时代和科技的发展,基于人工智能的诸多技术任务对于高清图像的的需求日益激增。高清图像的获取从硬件层面解决代价太过昂贵,而超分辨率技术重建从软件层面构造模型,根据已有的低分辨率图像重建出高分辨率图像。深度学习技术有着强大的学习能力和可移植性,自深度学习技术在超分辨率重建领域应用开始,基于深度学习的超分重建研究逐渐占据超分重建领域的主流。尽管近些年来超分重建技术获得了不错的突破,但重建出的图像质量仍有不足,如图像存在伪影、结构扭曲、细节失真等。为了解决这些问题,重建出质量更好的图像,本文将坐标注意力机制、密集连接、多尺度技术引入SRGAN中,重构基于生成对抗网络的超分辨率模型。本文从超分辨率重建的理论研究出发,在超分辨率的发展和研究现状的基础上,主要做了如下两方面工作:(1)针对现有图像超分辨率重建模型参数过大,难以在现实中应用的问题,提出了一种单图像超分辨率重建模型CSRGAN(基于坐标注意力机制的生成对抗网络)。通过优化SRGAN的生成器,将坐标注意力机制与残差网络相结合构造CR模块,促进通道之间信息的流通,并加强了网络的特征选择能力。在主网络构建了层次化特征融合结构,提高在深层网络中对早期特征的利用,利用大量的长短跳连接缓解了梯度消失,提高了网络收敛速度。在Set5、Set14、BSD100和Urban100数据集上与RFBESRGAN、ESRGAN等模型进行测试,在峰值信噪比(PSNR)和结构相似度(SSIM)都有所提高,同时模型参数量有极大减少,重建的图像结构清晰、细节丰富。(2)针对重建图像清晰度不够、纹理细节缺失的问题,提出了一种基于多尺度注意力机制的超分辨率模型(MFCSRGAN)。通过结合残差网络、多尺度特征机制、CBAM注意力机制、密集连接构建了多尺度注意力模块(MFCR)。通过对残差块进行改进,增强特征表达、保留更多像素信息;利用不同大小的卷积核获得不同大小感受野下的特征信息,增加特征多样性;将CSRGAN中的基础模块CR模块进行了优化,在坐标注意力模块后加入了空间注意力模块,加强了对空间的学习。在多个标准数据集上进行测试并与CSRGAN、ESRGAN等多个模型进行了比较,在峰值信噪比(PSNR)和结构相似度(SSIM)都有所提高,重建的图像在清晰度、结构完整性等方面有了进一步提高。