红外与可见光图像交互自注意力融合方法

作     者：杨帆 王志社 孙婧 余朝发 YANG Fan;WANG Zhishe;SUN Jing;YU Zhaofa

作者机构：太原科技大学应用科学学院太原030024 陆军工程大学军械士官学校武汉430075 

出 版 物：《光子学报》 (Acta Photonica Sinica)

年 卷 期：2024年第53卷第6期

页      面：214-225页

核心收录：

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：山西省基础研究计划(No.202203021221144) 

主　　题：图像融合 自注意力机制 特征交互 深度学习 多模态图像 

摘      要：针对现有红外与可见光图像融合方法仅仅依靠局部或全局特征表示,缺乏跨模态特征交互而造成融合性能低的问题,提出一种交互自注意力融合方法,利用Transformer对卷积神经网络提取的局部特征进行全局依赖关系建模,达到结合局部与全局关系的目的,提高特征表征能力。同时,构建了跨模态注意力交互模型,允许不同空间和独立通道之间以交互方式进行特征传递,以实现特征局部到全局的映射,从而增强两类图像的补充特性。在TNO、M3FD和Roadscene数据集上进行主客观实验,结果表明,与其他7种先进的融合方法相比,该方法在融合性能、模型泛化和计算效率方面都具有明显的优势,验证了方法的有效性和优越性。