热红外与可见光图像融合方法研究

作     者：张纪乾 

作者单位：西安理工大学 

学位级别：硕士

导师姓名：刘涵;王文卿

授予年度：2023年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：联合低秩稀疏分解 生成对抗网络 多尺度分解 相位一致性 引导滤波 

摘      要：由于热红外图像和可见光图像具有不同的物理特性和成像机制,它们的信息可以相互补充,进行红外与可见光图像融合得到的图像可以提高后续目标检测、目标识别等任务的准确度和可靠性。热红外图像可以提供主要目标的热量信息,而可见光图像则可以提供图像的纹理形状和颜色信息。通过将这两种图像进行融合,可以得到更加全面的图像目标信息。在军事、安防和医疗等应用领域,广泛应用了热红外与可见光图像融合。本文针对序列图像的特点和现有的图像融合算法的不足,提出针对序列图像的融合方法以及一种基于生成对抗网络的红外与可见光图像融合方法,主要研究工作如下:针对热红外与可见光序列图像中图像帧之间背景信息高度相关的特点,而传统图像融合方法并没有考虑到这层关系,为了更好对序列图像进行融合,本文提出了一种基于联合低秩稀疏分解的红外与可见光序列图像融合方法。本方法的具体实现步骤如下:首先,将源序列图像通过联合低秩稀疏分解得到三部分,第一部分是共有低秩分量,第二部分是特有低秩分量,最后一部分是特有稀疏分量。其次,对特有低秩分量利用相位一致性和引导滤波构成的的加权融合策略进行融合,对特有稀疏分量使用平均加权的的融合策略进行融合。最后,将共有低秩分量和融合后的两个分量进行重构得到最终结果。本文在具体实验中选取了 Natoamp、Bristol Eden Project 和 OSU Color and Thermal 常用的红外与可见光序列图像数据集,选择了七种融合算法进行主观和客观测试。实验表明本文方法有一定的优越性。针对传统融合方法在融合规则上受人工设计规则的影响,以及不能从源图像中提取更多的保留信息,本文提出了一种基于生成对抗网络的红外与可见光图像融合方法。本方法的具体实现步骤如下:首先,对源图像进行多尺度分解,得到细节层和基础层。其次,设计生成器和判别器的网络结构。生成器为双支网络架构,输入分别为红外与可见光图像的细节层和红外与可见光图像的基础层。判别器有两个，作用是两个源图像分别与融合图像进行判别。最后,选取SGD优化器和RMSProp优化器分别更新判别器和生成器参数,以此来提高网络训练效率。在实验中选取了TNO数据集中31对红外与可见光图像对作为训练集来训练网络,选取TNO数据集中5对源图像来测试网络。将融合结果与九种对比方法得到的融合结果进行主观和客观测试。实验表明本文方法视觉效果和评价指标较好。