基于深度学习的场景深度信息估计技术研究

作     者：段笑晗 

作者单位：西安工业大学 

学位级别：硕士

导师姓名：姚红革;程嗣怡

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：深度学习 单目深度估计 特征提取与融合 循环生成对抗网络 

摘      要：随着计算机视觉领域的不断发展,仅在二维图像上进行图像处理的相关研究已经不能满足日益复杂的任务需求,为了能够进一步提高各类图像处理研究的精度,深度信息的加入不可或缺。然而在日常图像采集的过程中,难以创造使用高精度深度测量设备获取实际深度信息的条件,因此利用深度估计技术获取二维图像深度信息是一个至关重要且具有广阔应用前景的研究课题,而使用深度学习方法进行深度估计的研究又能快速、准确、端到端地获取到图像的深度信息,鉴于此,本文使用深度学习方法进行深度估计技术的研究。为了进一步降低深度估计方法对输入图像的要求,从而拥有更广阔的应用前景,本文使用单目图像进行基于深度学习的深度估计技术研究。由于室内和室外场景中深度变化范围存在较大差异,且室外场景更加复杂多样,因此本文对其分别进行研究,具体研究内容如下:针对室内场景构建了一个用于单目深度估计的特征提取与融合网络,该网络模型基于编码-解码结构进行设计,引入跳跃连接尽量保留输入图像的各类特征。在这一网络结构中,编码部分使用卷积层、池化层及多个改进后的残差单元对输入图像进行特征提取,解码部分使用反池化与卷积相结合的方式使编码阶段提取到的特征图恢复至初始输入图像大小,便于与数据集中的实际深度图相对应从而准确计算误差。最后,通过实验验证了本文创新的有效性并且检验了本文网络的优劣性。针对室外场景构建了一个用于单目深度估计的循环生成对抗网络。首先,在面向室内场景的单目深度估计网络的基础上对网络层数、池化部分和插值部分进行了修改,构建了新的特征提取与融合网络,并通过实验验证了各项改进的有效性。之后,参考生成对抗网络的形式,将其与深度估计任务相结合,将构建好的特征提取与融合网络作为生成器,重新构建了鉴别器,并在实验过程中验证了这一改进的有效性。最后,使用循环生成对抗网络进一步提升了特征提取与融合网络的性能,将这一网络结构作为本章最终的网络模型,在实验中将其与其他经典神经网络进行了对比验证。本文针对室内和室外场景分别构建了单目深度估计网络模型,且均在实验中取得良好的表现,但在少数深度估计任务客观评价指标中与某些经典方法存在一定差距,因此仍然具有提升的空间。