基于光场焦点堆栈的鲁棒深度估计

作     者：吉新新 朴永日 张淼 贾令尧 李培华 JI Xin-Xin;PIAO Yong-Ri;ZHANG Miao;JIA Ling-Yao;LI Pei-Hua

作者机构：大连理工大学信息与通信工程学院大连116024 大连理工大学国际信息与软件学院大连116024 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2022年第45卷第6期

页      面：1226-1240页

核心收录：

学科分类：08[工学] 081203[工学-计算机应用技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61976035) 大连市科技创新基金(2019J12GX034) 中央高校基本科研业务费(DUT20JC42)资助. 

主　　题：光场 焦点堆栈 上下文推理单元 注意力机制 跨模态融合模块 

摘      要：传统的深度估计方法通常利用普通相机记录的二维图像进行单目或多目深度估计.因这种方式仅利用了光线的强度信息,忽略了它的方向信息,其深度估计的效果并不理想.相比之下,光场记录的信息不仅包含了光线的强度信息,还包含了方向信息.因此,基于深度学习的光场深度估计方法越来越引起该领域研究人员的关注,现已成为深度估计方向的研究热点.然而,目前大部分的研究工作从极平面图像(EPI)或子孔径图像着手进行深度估计,而不能有效利用焦点堆栈含有的丰富深度信息.为此,本文提出了基于光场焦点堆栈的鲁棒深度估计方法.本文设计了一种上下文推理单元(CRU),它能够有效地挖掘焦点堆栈和RGB图像的内部空间相关性.同时,本文提出了注意力引导的跨模态融合模块(CMFA),对上下文推理单元提取的空间相关性信息进行有效融合.为了验证本方法的准确性,在DUT-LFDD和LFSD数据集上进行了广泛的验证.实验结果表明,本文方法的准确率相比现有的EPINet和PADMM分别提高了1.2%和2.25%.为进一步证明本方法的有效性,我们在现有公开的手机数据集上进行了反复的测试.可视化测试结果表明,本方法在普通消费级手机获取的图像上亦可取得满意的效果,能够适应现实应用场景.