改进残差密集生成对抗网络的红外与可见光图像融合
Infrared and visible image fusion with improved residual dense generative adversarial network作者机构:沈阳建筑大学机械工程学院沈阳110168 中国科学院、沈阳自动化研究所光电信息处理重点实验室沈阳110169 卓越新时代认证有限公司沈阳110013
出 版 物:《控制与决策》 (Control and Decision)
年 卷 期:2023年第38卷第3期
页 面:721-728页
核心收录:
学科分类:0710[理学-生物学] 08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术(可授工学、理学学位)] 0702[理学-物理学]
主 题:图像融合 残差密集块 生成对抗网络 注意力机制 显著性区域 相对平均判别器
摘 要:基于深度学习的红外与可见光图像融合算法通常无法感知源图像显著性区域,导致融合结果没有突出红外与可见光图像各自的典型特征,无法达到理想的融合效果.针对上述问题,设计一种适用于红外与可见光图像融合任务的改进残差密集生成对抗网络结构.首先,使用改进残差密集模块作为基础网络分别构建生成器与判别器,并引入基于注意力机制的挤压激励网络来捕获通道维度下的显著特征,充分保留红外图像的热辐射信息和可见光图像的纹理细节信息;其次,使用相对平均判别器,分别衡量融合图像与红外图像、可见光图像之间的相对差异,并根据差异指导生成器保留缺少的源图像信息;最后,在TNO等多个图像融合数据集上进行实验,结果表明所提方法能够生成目标清晰、细节丰富的融合图像,相比基于残差网络的融合方法,边缘强度和平均梯度分别提升了64.56%和64.94%.