基于深度学习的红外与可见光图像融合方法研究

作     者：赵建 

作者单位：青海师范大学 

学位级别：硕士

导师姓名：杜秀娟

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：红外与可见光 图像融合 多鉴别器 生成对抗网络 结构感知 

摘      要：图像融合技术通过融合不同传感器采集的多源图像的互补信息,得到信息丰富的增强图像。在不同的传感器中,红外和可见光传感器的结合具有独特的优势。融合后的图像可以呈现两种传感器的优点,提高视觉理解,并在军事和民事应用中发挥重要作用。本文的主要研究内容如下: (1)研究基于多鉴别器生成对抗网络,通过特定的网络架构,提出了一种红外与可见光图像融合的方法。针对现有的深度学习方法对源图像的梯度信息提取不充分问题,在双鉴别器的基础上增加了一个鉴别器模块,新增鉴别器的输入分别为生成器生成的融合图像与红外和可见光图像的拼接图像,以更好地对源图像的梯度和纹理细节信息进行提取。其次,为了更加深入地融合并提取源图像的特征信息,本方法在生成器模块中结合了卷积神经网络与密集连接网络的优势,同时卷积注意力模块(Convolutional Block Attention Module,CBAM)被引入,从通道和空间两个维度全面考虑了红外与可见光图像的特征信息,确保特征提取的准确性和完整性。提出的多鉴别器生成对抗网络方法基于Tensor Fowl框架在GPU上实现,能够在无需参考图像的情况下,有效地生成融合图像。最后,在公开数据集TNO、Road Scene和MSRS上进行实验,将本文所提出的方法与五种现有方法进行了对比分析,通过主观定性评价、客观定量评估以及运行效率比较分析,充分验证了本研究方法的有效性。 (2)提出一种基于结构感知的多鉴别器生成对抗网络融合方法(Structure-aware MultiDiscriminator Generative Adversarial Network for Fusion,SAMDFGAN),将红外与可见光图像进行融合。在图像融合过程中,不仅考虑纹理细节信息,还兼顾源图像结构信息的保留。针对源图像结构特征信息的保留问题,设计结构感知模块,源图像和融合图像通过结构感知模块生成结构纹理图,然后将包含源图像和融合图像结构特征的结构纹理图送入鉴别器,通过鉴别器和生成器的博弈学习,最终使网络能够生成包括源图像的结构信息和纹理信息的融合图像。其次,针对先前生成器提取特征信息不充分的问题,该方法将生成器改为编解码器框架,将源图像送入编码器模块进行特征提取,解码器模块进行特征重建工作。最后,为了验证本方法的性能优势,在公开的TNO、Road Scene和MSRS数据集上进行测试。在此过程中,将本方法与五种现有的深度学习方法进行了对比分析,并结合主观定性评价、客观定量指标,以及运行效率进行综合考虑。