动态场景下深度自监督多曝光图像融合方法

作     者：张雨童 邓欣 徐迈 ZHANG Yu-tong;DENG Xin;XU Mai

作者机构：北京航空航天大学电子信息工程学院北京100191 北京航空航天大学网络空间安全学院北京100191 

出 版 物：《电子学报》 (Acta Electronica Sinica)

年 卷 期：2024年第52卷第1期

页      面：264-273页

核心收录：

学科分类：0710[理学-生物学] 081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0836[工学-生物工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(No.62001016) 

主　　题：高动态范围成像 多曝光图像融合 深度学习 自监督学习 

摘      要：近年来,面向动态场景的多曝光图像融合技术取得重大进展.其中,基于深度学习的方法在视觉效果和运算效率上都远超传统算法,成为高动态范围成像技术的主流.然而,现有基于深度学习的融合方法都以有监督学习的方式实现,过度依赖真值图像,难以被广泛应用于实际场景中.本文提出了一个基于深度自监督学习的动态多曝光图像融合网络,主要贡献包括:设计自监督的动态多曝光融合网络框架,探索高动态范围图像与低动态范围图像序列的内在关联;提出基于注意力机制的全局去伪影模块,使用全局文本模块减少动态融合产生的运动伪影,增强图像细节;提出融合重建模块,通过残差和稠密连接实现多层次特征之间的信息流动;设计运动掩膜引导的自监督损失函数,用于网络的高效训练.实验表明,与现有方法相比,本文提出的方法在高动态范围图像重建的主观和客观质量上均表现较好,运算效率显著提升.