基于双分支边缘卷积融合网络的红外与可见光图像融合方法

作     者：张鸿德 冯鑫 杨杰铭 邱国航 ZHANG Hongde;FENG Xin;YANG Jieming;QIU Guohang

作者机构：重庆工商大学机械工程学院智能装备绿色设计与制造重庆市重点实验室重庆400067 

出 版 物：《光子学报》 (Acta Photonica Sinica)

年 卷 期：2024年第53卷第8期

页      面：287-298页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(No.22178036) 重庆市自然科学基金(No.CSTB2022NSCQ-MSX0271) 

主　　题：红外与可见光图像融合 双分支边缘卷积融合网络 深度学习 边缘卷积块 卷积注意力 

摘      要：提出一种基于双分支边缘卷积融合网络的红外与可见光图像融合方法。首先,提出一种改进的双分支边缘卷积结构,将图像包含的信息分解为公共信息和模态信息,并于每个分支引入边缘卷积块,更好的提取深度特征;然后在融合层引入卷积注意力模块对模态特征进行增强;最后基于所本文编解码网络特点,提出一种重建损失结合融合损失的损失函数。经过大量的消融性实验和对比实验表明,本文方法能够很好的保留原图像中的公共信息和模态信息,并且相比目前最新的融合方法在主观和客观评价上都具有优秀的综合性能。