基于多模态深度神经网络的深度恢复

作     者：许龑 

作者单位：浙江大学 

学位级别：硕士

导师姓名：章国锋;鲍虎军

授予年度：2018年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：深度恢复 生成对抗网络 三维视觉 

摘      要：深度恢复是计算机视觉领域的一个经典问题。近年来,基于深度神经网络的单视图深度恢复受到了学术界广泛关注。然而基于深度神经网络的单视图深度恢复往往只能生成模糊的估计结果,由于其固有的不适定性,无法恢复出准确一致的场景尺度。为了解决这一问题,本文提出一种基于深度神经网络和多模态输入的深度估计模型,通过结合传统方法（立体匹配、硬件传感器等）得到的可靠深度区域,恢复得到更为准确且稠密的深度估计结果。该模型以RGB图像和稀疏但较为可靠的深度采样为输入,通过对抗学习的方法,提取来自输入的有效信息,并对场景深度进行建模,实现传统方法和基于深度神经网络单目预测方法的优劣互补,达到较好的深度恢复结果。具体来说,提出的深度恢复模型分为两个主要部分:初始深度估计部分和深度求精部分,以由粗到精的方式实现场景深度估计。深度求精部分创新性地采用了尺度残差学习方法,大大提升了系统的性能。另外,为了排除训练数据中深度采集噪声对系统训练造成的影响,本文提出了一种稀疏判别网络,使得网络的训练过程更加稳定,预测结果更加可靠。大量的实验结果证明,相比现有的其他基于深度神经网络的单视图深度预测方法,本文提出的方法无论在泛化能力还是预测准确性上都取得了显著提升。例如,就RMSE（均方根误差）一项而言,本文方法的深度估计误差在NYU-Depth-V2数据集[1]上降低了 0.39米,在KITTI深度预测数据集[2]上降低了 0.85米。除此之外,本文成功将本方法应用于场景深度恢复、雷达（LiDAR）数据补全和三维场景重建等应用场景,进一步验证了模型的实用性和可靠性。