基于多层卷积的红外与可见光图像融合算法

作     者：陈海秀 房威志 陆康 陆成 黄仔洁 陈子昂 

作者机构：南京信息工程大学江苏省大气环境与装备技术协同创新中心 南京信息工程大学自动化学院 

出 版 物：《电光与控制》 (Electronics Optics & Control)

年 卷 期：2024年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(61302189) 江苏省研究生科研与实践创新计划项目(SJCX23_0383) 

主　　题：多层卷积 融合网络 注意力机制 图像融合 

摘      要：在图像融合领域，针对复杂背景下纹理细节信息丢失，融合图像视觉感受较差等问题，提出了一种基于多层卷积的红外与可见光图像融合算法。该算法的网络框架分为编码器、解码器和融合网络三个部分。在编码器中引入高效通道注意力机制对源图像进行编码处理，融合多层卷积块、梯度卷积块、下采样卷积块以及卷积空间通道注意力机制等形成多层卷积融合网络（Multilayer Convolutional Fusion Network，MCFN），通过该融合网络进行特征融合，利用解码器重建输出融合图像。选取了5种现有算法和8种客观评价指标在两种数据集上进行比较，结果表明，所提算法融合后的图像目标突出、细节清晰、轮廓明显、指标提升显著，符合人类视觉感受。