基于深度学习的图像深度估计算法的研究

作     者：周志康 

作者单位：东南大学 

学位级别：硕士

导师姓名：夏军

授予年度：2020年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：双目立体匹配 景深估计算法 卷积神经网络 无监督学习 景深优化 

摘      要：由二维图像提取出图像场景的深度信息是计算机视觉中的经典问题。准确的深度信息能够更好的让我们理解场景的三维结构,了解场景中物体之间的三维关系。深度信息在自动驾驶、AR、VR、机器人导航等具有重要的应用价值。在景深估计算法中,利用传统的双目立体匹配算法存在着精度和实时性不能共存的矛盾,同时也存在着只能适用于特定场景的问题。近年来,随着人工神经网络的发展,尤其是卷积神经网络在图像上的应用使得景深提取取得了飞速的发展,众人提出的各种各样的有监督神经网络算法,使得其在实时性和精度都能够达到很好的效果,然而现阶段依然存在的问题是:带有景深图像的数据集严重不足且应用场景有限。因此,利用深度学习中的无监督景深估计的方法来实现对图像景深的高标准提取则是本文的研究重点。基于以上分析,本文主要针对基于深度学习对景深估计算法研究,主要研究内容和创新点如下:1、图像深度估计的深度学习框架相关原理。其中包括了人工神经网络原理与卷积神经网络的基本原理,卷积神经网络的基本结构、工作原理与优化过程,传统双目立体匹配的基本内容、工作原理和视点扩增的原理,以及利用深度学习对图像估计的不同的框架设计原理。2、研究了双目无监督深度估计算法。针对目前大多数效果较好的带有深度图的数据集的网络框架应用场景有限和数据集相对有限的限制下的情况下,本文提出了无监督双目图像估计算法,其中包括了无监督网络的设计原理、框架结构细节和效果图像以及在现实校园场景下和三维动画的应用效果图像。其中无监督算法的核心思路是利用左视图和通过网络估计的深度图像重建出来右视图,再与原右视图来计算损失,之后通过不断减小这个损失来优化网络。3、提出了基于深度学习对深度图像的优化算法。针对于当前不管是传统的立体匹配算法还是深度学习算法得到的深度图像都存在边缘处错误点和对比度差的情况,利用语义分割网络来实现对深度图像的优化算法,其中主要包含了利用语义分割算法将原RGB图像分割成不同区域,再将对应区域索引到对应我们所要处理深度图像区域然后处理该区域的错误点问题,之后再对其深度图像的不同区域进行不同的算法处理,从而实现对边缘模糊的问题以及错误点问题的解决,提高深度图像的对比度。同时也论证了对抗神经网络对深度估计及优化的可行性进行分析并且比较了传统算法Guilded Filter和TV（Total Variation）算法对深度图像处理的效果。