宽光谱相机图像增强与还原技术研究

作     者：王文娜 

作者单位：西安工业大学 

学位级别：硕士

导师姓名：刘欢;李宋泽

授予年度：2024年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：生成对抗网络 短波红外 宽光谱 图像转换 多波段 

摘      要：由于可见光到短波红外(0.4～2.5μm)这一宽光谱范围有着独特的波段特性,赋予了宽光谱相机全天时有效成像、对复杂环境适应性强等特点,使得宽光谱相机在各种场景下都能够提供丰富的信息。但其所获取的图像为灰度图像,视觉效果不如彩色图像,不适合人眼观察和识别,且由于采集图像过程中易受到各种因素干扰导致图像质量不佳。如何提升宽光谱图像质量并对其进行色彩还原,使其更贴近人眼观察,是将其成功应用于安防监控、汽车视觉等领域的关键前提。 随着图像处理和计算机视觉技术的不断发展,针对宽光谱图像的增强和色彩还原方法也在逐步完善。因此,本文在建立了一个包含可见光到短波红外范围的宽光谱图像数据集的基础上,采用深度学习方法,对宽光谱图像的增强与还原技术进行了深入研究。研究内容包括宽光谱图像到可见光图像的转换、宽光谱图像的细节增强以及色彩还原三个关键方面。本文研究的主要内容和工作如下: (1)建立了宽光谱图像数据集WSID(Wide Spectrum Image Dataset)。由于宽光谱图像数据规模的有限和获取的困难,使得在宽光谱图像处理领域的研究受到了一定程度的挑战。针对宽光谱图像的增强与还原问题,本文成功建立了宽光谱(可见-短波红外波段)图像数据集WSID,其中包含了五组宽光谱图像,每组有12220张图像;接着在该数据上评估了经典的图像处理算法,说明了WSID在研究其他视觉任务上的实际作用和显著特点。 (2)改进了一种多波段图像融合算法旨在实现色彩还原的目标,获取高质量的参考图像。本文使用的有监督模型,需要参考图像来进行训练和评估模型的性能。因此,本文采集R(红)、G(绿)、B(蓝),其中心波长分别为680nm、525nm、450nm的图像,通过编写色彩还原算法来实现R、G、B三波段图像融合,并使用最小二乘法来匹配融合图像和标准色板图像,从而得到色彩还原后的图像;接着利用Gamma矫正使得融合后的色彩更加稳定,随后对图像质量及色彩还原度进行评价,根据评价结果不断优化算法,最终得到了高质量的真彩色图像,作为网络的参考图像。 (3)提出了一种基于改进的生成对抗网络和U型卷积网络的宽光谱图像细节增强与色彩还原算法。整个网络分为三个模块,分别是图像预处理模块、图像细节增强模块和图像色彩还原模块;通过结合GAN和U-Net进行图像到图像的转换,增加了结构相似函数和颜色损失函数,以更好地保留输入宽光谱图像整体结构和色彩信息,新增了循环损失函数,使生成的预测图像更加接近于参考图像,从而提高生成图像与参考图像之间的一致性,提升图像转换质量。这种方法将宽光谱图像翻译为更符合人眼日常观感的可见光图像,显著提升了网络对宽光谱图像的整体效果。