LF-UMTI:基于多尺度空角交互的无监督多曝光光场图像融合

作     者：李玉龙 陈晔曜 崔跃利 郁梅 Li Yulong;Chen Yeyao;Cui Yueli;Yu Mei

作者机构：宁波大学信息科学与工程学院浙江宁波315211 台州学院电子信息与工程学院浙江台州318000 

出 版 物：《光电工程》 (Opto-Electronic Engineering)

年 卷 期：2024年第51卷第6期

页      面：81-95页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：光场成像 多曝光融合 多尺度空角交互 无监督学习 角度一致性 

摘      要：光场成像可同时捕获真实场景中光线的强度和方向信息。但受限于成像传感器的势阱容量,现光场相机单曝光捕获的光场图像难以完整记录真实场景中所有的细节信息。为了解决上述问题,本文提出了一种基于多尺度空角交互的无监督多曝光光场成像方法。该方法采用多尺度空角交互策略,以有效提取光场空角特征,同时利用通道维上建模策略以降低计算量来适应光场高维结构。其次,构建了由可逆神经网络导向的光场重建模块,以避免融合伪影并恢复更多细节信息。最后,设计了一种角度一致性损失,其考虑了边界子孔径图像和中心子孔径图像之间的视差变化,以保证融合结果的视差结构。为评估所提方法的性能,建立了一个面向真实场景的多曝光光场基准数据集。实验结果表明,所提方法可在保证角度一致性的前提下重建出具备高对比度和丰富细节的光场图像。与现有方法相比,所提方法在客观质量和主观视觉两方面均取得更好的结果。