多源影像的信息融合算法研究

作     者：刘珞琳 

作者单位：中国科学院大学(中国科学院西安光学精密机械研究所) 

学位级别：硕士

导师姓名：李学龙

授予年度：2021年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：图像融合 风格迁移 双流神经网络 渐进式生成 

摘      要：热红外图像又称长波红外图像,通过接收目标物辐射的温度而成像,图像中的前景、背景等信息由于其热辐射的差异而区别开来。热红外图像的获取不依赖于外部光线,因此对弱光环境下的遮挡物体有良好的检测性。场景中物体温度趋同、成像过程中产生噪声等因素会造成热红外图像内部相关性强,导致图像的可理解性弱、边缘和轮廓模糊等问题。这些缺点使得热红外图像难以独立应用在目标识别、异常检测等任务上。相比之下,可见光图像更能满足人类视觉的直观理解。在同一场景下,可见光图像具有更高的空间分辨率,图像的纹理细节更清晰,目标的可理解性更强。结合两种光源的优势,可以生成目标清晰、分辨率高的新图像,满足全天候（all-weather）任务的要求。针对上述问题,本文应用了对抗生成网络,在保持已有信息的同时,实现两种图像风格的互相转换。并提出了一种新颖的双流神经网络,整合热红外与可见光图像中各自的有效的信息,形成更符合人类直观理解的新图像。主要工作如下:1)设计了一种基于渐进式对抗生成网络的热红外-可见光图像转换算法。由于热红外图像与可见光图像在视觉理解和分辨率等方面差异巨大,适用于可见光图像的系统往往不能够良好地兼容热红外图像。因此,本文提出了一种渐进式生成策略的风格转换方法,旨在将低分辨率的热红外人脸图像转换为高分辨率的可见光人脸图像。我们同时使用配对和非配对的两种图像数据,提高模型的泛化性能,避免归一化的生成结果。并且使用感知损失,在特征层面上约束生成图像更多地保持双源图像的细节。实验表明,渐进式的生成策略有利于训练的稳定性,相比其他相关算法提高了15%的生成性能。2)提出了一种基于双流神经网络的热红外-可见光图像融合算法。由于缺少大量的融合结果作为基准数据,双光图像融合过程缺乏约束和指导。通常做法是只使用可见光图像进行训练,在测试阶段对不同的源图像使用相同的特征提取操作,或者只着重于某类图像的一些显著性信息展开融合,忽略了双光图像之间的区别和联系。为解决这些问题,本文提出的双流网络为可见光图像与热红外图像提供了独立的网络层,使得在训练阶段模型可以同时地、全面地学习双光特征,并结合两种图像各自的特征指导融合图像的生成。这样,在两类图像均参与训练的同时,形成一个训练阶段与测试阶段网络结构的保持一致的端到端模型。本算法在TNO数据集上进行了多层级结构相似性等指标的计算,较同类算法提升了1.39%,达到了该数据集上的最佳精度。实验表明,本算法能够更多地保留热红外图像与可见光图像各自的特征,抑制伪影的生成,提升了融合精度。