基于多判别器双流生成对抗网络的红外与可见光图像融合

作     者：武凌霄 康家银 姬云翔 马寒雁 WU Lingxiao;KANG Jiayin;JI Yunxiang;MA Hanyan

作者机构：江苏海洋大学电子信息学院江苏连云港222005 

出 版 物：《兵工学报》 (Acta Armamentarii)

年 卷 期：2024年第45卷第6期

页      面：1799-1812页

核心收录：

学科分类：1305[艺术学-设计学（可授艺术学、工学学位）] 13[艺术学] 081104[工学-模式识别与智能系统] 08[工学] 0804[工学-仪器科学与技术] 081101[工学-控制理论与控制工程] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金项目(62271236) 连云港市“海燕计划”基金项目(2018-QD-011) 江苏海洋大学自然科学基金项目(Z2015009) 研究生科研与实践创新计划项目(KYCX2021-052) 

主　　题：图像融合 红外图像 差分图像 生成对抗网络 注意力机制 

摘      要：针对现有的红外与可见光图像融合方法对源图像信息保留不充分的问题,改进了一种基于多判别器双流生成对抗网络(Generative Adversarial Network,GAN)的红外与可见光图像融合算法。改进的GAN融合框架包含一个生成器与四个判别器,将差分图像作为辅助信息,从而进一步提升网络的融合性能。算法中的差分图像不仅被作为源图像的附加信息,引导生成器关注不同模态图像的独特信息,还被用作真实数据分布,协助差分判别器与生成器进行对抗训练。所改进网络模型中,生成器采用双编码器-单解码器结构,其中编码器旨在提取不同模态特征,主要采用密集连接结构,并结合注意力模块;解码器旨在根据联结高维特征重构出融合图像。判别器对输入图像是来自真实图像还是融合图像进行判断,并根据判断的结果对生成器进行约束优化。实验结果表明,相较于对比算法,所提算法在主观判读和客观指标评价两方面均取得了更优异的融合效果。