基于GAN的图像超分辨率重建研究与实现

作     者：蓝林 

作者单位：贵州大学 

学位级别：硕士

导师姓名：吴云

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：深度学习 超分辨率 生成对抗网络 双网络结构 感知损失 

摘      要：图像超分辨率重建技术是指利用相关知识与方法,从低分辨率图像中复原出相应的高分辨率图像的过程,广泛应用于医学图像处理、视频监控、生物特征识别等场景。在计算机视觉领域,基于深度学习的图像超分辨率重建技术已相对成熟,但仍面临一些问题与挑战,如:网络学习困难、特征提取不充分、生成图像模糊、缺失真实感等。本文的主要工作如下:(1)针对以上问题,本文提出了一种新的基于改进GAN(Generative Adversarial Network)的图像超分辨率重建算法。该算法在原始GAN的基础上进行改进,算法的整体架构由深度卷积神经网络和残差块构成。1)在生成器网络的设计中,为了解决特征提取不充分的问题,本文提出了一种双网络结构。双网络结构分为上采样子网络和优化子网络,它们分别对低分辨率图像进行上采样和优化。在放大系数较高的场景中,这种结构可以提高对高频细节的利用率,从而重建出高质量的结果。其次,为了解决生成图像模糊的问题,本文使用收敛速度更快、视觉效果更好的感知损失来指导生成器网络训练。在此部分,本文运用参数量更小、深度更深的ResNeXt-50-32x4d网络求取该损失,该损失促使重建后的超分辨率图像更加清晰、更加真实。最后,为了进一步增强网络的学习能力,本文改进残差块的组成部分并应用于算法模型的研究中,以此辅助模型更好的提取特征。2)在鉴别器网络的设计中,为了解决GAN训练不稳定、梯度消失、模式崩溃等问题,本文引入WGAN中的Wasserstein距离思想和WGAN-GP中的梯度惩罚来衡量生成的超分辨率图像与真实的高分辨率图像之间的距离,从而优化网络,提升网络的鉴别能力、增强模型的稳定性。在设置鉴别器网络的结构时,本文去掉了最后一层的激活函数,损失函数的计算不取对数。(2)针对本文提出的算法模型进行实验,验证其有效性。本文采用ImageNet数据集对设计的模型进行预训练,以此提高模型的整体性能。本文在DIV2K、Set5、Set14、BSD100数据集上进行了大量的实验,并对实验结果作详细的对比分析。实验结果表明,本文提出的算法可以有效提高图像分辨率、增强图像质量,且重建图像的PSNR和SSIM评价指标均有所提高,充分证明了提出算法的有效性。(3)图像超分辨率重建系统的设计与实现。基于以上算法的研究,本文设计并实现了一个具有Web界面的可视化图像超分辨率重建系统。本系统搭建图文网站平台,集图像加载模块、模型处理模块和系统交互模块为一体,为用户提供在线图像超分辨率重建功能。用户通过Web前端页面发送图像超分辨率重建请求,服务器端接收请求并作出正确的响应,将最终结果向用户进行展示。本系统大幅度减少了图像传输所需的网络带宽,节约了成本。