基于注意力机制的多曝光图像融合算法

作     者：白本督 李俊鹏 BAI Bendu;LI Junpeng

作者机构：西安邮电大学通信与信息工程学院西安710121 

出 版 物：《光子学报》 (Acta Photonica Sinica)

年 卷 期：2022年第51卷第4期

页      面：336-347页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：国家自然科学基金(No.41874173) 

主　　题：多曝光 注意力机制 卷积神经网络 高动态范围图像 无监督 

摘      要：针对多曝光图像任务缺乏真值图像,以及现有多曝光图像融合算法存在的边缘特征丢失、细节模糊等问题,本文提出了一种基于注意力机制的多曝光图像融合算法。该算法建立权重独立的双通道Unet网络,对目标场景不同曝光图像分别进行特征提取,生成不同曝光图像的高维多尺度特征图;通过视觉注意力机制凸显目标场景在不同曝光下对融合有利的特征,并叠加到高维多尺度特征图上;最后,将过滤的高维多尺度特征进行特征拼接,通过扩张残差稠密单元进行特征重建,得到最终的高动态范围图像。以端到端网络作为设计基础,利用内容损失和结构损失计算策略对神经网络进行约束,实现无监督学习。实验结果表明,所设计的多曝光图像融合网络在保留过曝和欠曝图像纹理特征的同时降低了欠饱和与过饱和区域信息干扰,具有良好的融合效果和鲁棒性。