结合语义分割与跨模态差分特征补偿的红外与可见光图像融合方法

作     者：李天放 孙一宸 于明鑫 董明利 Li Tianfang;Sun Yichen;Yu Mingxin;Dong Mingi

作者机构：北京信息科技大学仪器科学与光电工程学院 

出 版 物：《电子测量与仪器学报》 (Journal of Electronic Measurement and Instrumentation)

年 卷 期：2024年第38卷第7期

页      面：34-45页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：北京市教委科技计划一般项目(KM202011232007) 高校学科人才引进计划(D17021) 北京信息科技内涵发展项目(2019KYNH204)资助 

主　　题：图像融合 语义分割 注意力机制 跨模态差分特征补偿 

摘      要：针对现有红外与可见光图像融合模型在深层特征提取时细节信息丢失、显著目标轮廓模糊的问题，提出一种结合语义分割与跨模态差分特征补偿(CMDFC)的红外与可见光图像融合方法。通过具有卷积注意力机制(CBAM)的跨模态差分特征补偿模块，叠加不同模态的互补特征信息至原始特征中进行深层特征提取，引入语义分割网络对融合图像进行像素级别的分类操作构造语义损失来约束融合网络，并使用解码器重构融合图像。在公开数据集上进行融合实验的结果表明，相较于对照模型中的最优指标，所选的5种指标均有不同程度的提高，其中互信息(MI)和视觉信息保真度(VIF)分别提高了4.41%和4.25%,说明本文所提出的模型生成的融合图像更清晰，与源图像相关性更强，该方法有效缓解了红外与可见光图像融合过程中特征细节信息丢失的问题，增强了生成图像的视觉效果和对比度。