基于空间金字塔池化多视点匹配的光场深度估计方法

作     者：刘松璇 

作者单位：吉林大学 

学位级别：硕士

导师姓名：王世刚

授予年度：2022年

学科分类：070207[理学-光学] 07[理学] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0702[理学-物理学] 

主      题：光场图像 多视点图像 深度估计 空间金字塔池化 匹配方法 

摘      要：光场作为立体视觉领域中对场景信息描述更丰富的一种数据表达方式,受到了国内外研究人员的广泛关注。传统成像方式直接记录光线在焦平面的二维投影,表达场景几何结构的角度域信息被隐藏在二维投影表达中,而光场成像则记录从各个方向投射来的光线,显式地记录了角度域中的信息,从而能够对隐含在传统图像中的结构信息进行解耦。光场图像深度估计是与光场相关的各项应用的基础。光场多视图表达中含有丰富且冗余的场景信息,如何有效地对多视图进行特征提取和融合,是得到准确的光场深度估计的关键。本文以光场为研究对象,围绕着如何为光场获取精准的深度估计结果展开研究,主要工作内容如下:（1）针对如何将光场理论应用于工程和如何构建光场数据结构的问题,我们在全光函数的指导下,结合实际应用场合,对全光函数光场表达进行降维和采样,给出三种四维光场二维可视化表达的数据结构:基于子孔径图像的多视图表达、基于光场子视图的表达和基于对极平面图像的表达。（2）针对传统的光场深度估计方法,讨论传统的光场深度估计方法最优技术路线,我们给出“先初始深度估计、后深度优化的技术路线。在深度初始估计中,我们研究了基于子孔径图像的匹配方法和基于对极平面图像的匹配方法;在深度估计优化中,介绍了马尔科夫随机场框架流程和变分模型;并基于预测值与真实值之间的均方误差衡量标准,对各种方法深度估计的性能进行了实验对比。我们认为,传统的光场深度估计方法需同时考虑空间域的代价和角度域的代价,以获得更好的深度估计结果。（3）针对基于深度学习的光场深度估计方法,我们提出了一种基于空间金字塔池化的多视点匹配网络。目前,基于深度学习方法的主要问题是,忽略了单个视点图像特征提取部分的重要性,忽略了视点图像特征结果对网络效果的影响,并且,通常只有部分视点参与运算。为解决以上问题,我们提出基于空间金字塔池化的多视点匹配网络。我们基于光场子孔径图像的多视点表达,通过对光场中所有视点图像应用一元特征提取模块和空间金字塔池化模块,得到带有上下文语义的特征,最大程度地挖掘光场数据在视角维度的强相关性,建立代价立方体,应用匹配,利用三维卷积块在光场中完成代价聚合;最后通过视差回归,得到深度估计图。在网络架构设计过程中,我们受双目深度估计网络PSMNet启发,参考了在PSMNet中阐述的思想;为适应光场深度估计任务,我们将PSMNet的输入端从2个扩展成81个,同时对设计了基于光场81个视点图像的代价立方体,并采用三维卷积模块进行代价匹配。我们给出了所提方法与其它方法的主观和量化实验对比结果。结果表明,我们的方法在细节表达方面优于其它方法,同时深度图中的不确定区域更少。