基于深度学习的轻量级红外与可见光图像融合算法研究

作     者：李付全 

作者单位：贵州师范大学 

学位级别：硕士

导师姓名：周永辉;陈延利

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：红外与可见光图像 注意力机制 膨胀卷积 可逆图像信号处理 多尺度图像融合 

摘      要：红外与可见光图像融合在军事国防、民用安防、智慧城市建设和无人驾驶等多个领域用于增强系统对场景的理解和分析能力,已经成为提高计算机视觉系统性能的关键技术之一。多模态图像融合主要是将不同来源、不同模态、不同时空的源图像,针对捕获同一场景的景象进行融合,提升图像的质量。生成的融合图像不仅保留了不同模态有效且互补的信息和减少模态间的冗余信息,而且有利于提高下游计算机视觉任务的准确率,如目标检测、语义分割、行人再检测等。 当前,部分深度学习驱动的红外与可见光图像融合方法过于倚重构建复杂的网络架构,以增强对融合图像的特征表示能力,却在一定程度上忽略了作为高级视觉任务预处理的图像融合算法应具备实时性需求,导致其与实际工程应用场景的适配度降低。此外,可见光图像在低/高光条件下拍摄的图像由于传感器和光学器件的限制,会出现各种类型的退化,如欠/过曝图像、颜色失真、噪声增加等。本文针对图像融合网络无法满足实时性需求和可见光欠/过曝造成的图像退化问题,提出了基于多尺度注意力机制和膨胀卷积的轻量级图像融合算法和基于可逆图像处理的红外与可见光图像融合算法。通过大量的对比实验、消融实验及时间复杂分析,验证了这两个算法不仅在融合效果上表现出色,而且均能满足实时性要求。 本文的创新性研究工作及成果概括如下: (1)在本研究中,提出了基于多尺度注意模块和混合膨胀卷积块的轻量级红外与可见图像融合算法,可以保持显著的结构特征和细粒度纹理细节。为扩大融合网络中的感受野来提取突出的结构特征,设计了一个具有不同膨胀率的混合膨胀卷积块。该卷积模块提高了网络的运行效率和特征表示的能力。为充分利用源图像的上下文信息,设计不同的注意模块整合到网络的不同层次中,并在总损失函数引导网络的融合过程中,关注显著区域和弥补缺失的信息,极大提升了融合图像的质量。大量的定性和定量实验表明,我们提出的方法在视觉效果和评估指标方面都优于对比的最先进的融合算法。在公共数据集上的实验结果表明,该方法可将熵值(EN)提高4.80%,标准差(SD)提高3.97%,相关系数(CC)提高1.86%,差值相关性(SCD)提高9.98%,多尺度结构相似性(MS＿SSIM)提高5.64%。此外,对VIFB数据集的实验进一步表明,我们的方法优于其他对比的融合算法。 (2)在本研究中,针对人眼对亮度变化的敏感度远高于颜色变化这一规律,提出了一种基于可逆图像处理的融合方法。该方法专注于保持图像的纹理细节和亮度信息。通过可逆图像信号处理技术对可见光成像进行建模,训练的亮度和颜色参数引入矫正红外与可见光图像融合结构不一致性的模块,有效地提升了图像融合的综合性能,尤其是在低光照条件下的表现。在算法中基于设计的融合网络模型和损失函数,充分利用多尺度处理和亮度调整策略,以保持显著的结构特征和丰富的纹理细节,减少过度/欠曝光带来的影响。在三个公开数据集定量和定性地验证了该融合网络可以提升图像融合的质量,降低图像的退化。