基于深度学习的视觉里程计算法研究

作     者：梁水波 

作者单位：贵州大学 

学位级别：硕士

导师姓名：刘紫燕

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：视觉里程计 深度学习 Transformer 深度估计 注意力机制 

摘      要：随着计算机视觉和高性能传感器技术的发展,视觉里程计(Visual Odometry,VO)广泛用于机器人和自动驾驶等领域。单目视觉里程计是通过分析单目相机输入图像序列来确定相机位置及方向的过程,具有成本低、配置简单、计算效率高等优点。由于单目相机缺乏深度信息导致单目视觉里程计存在尺度模糊问题。深度神经网络(Deep Neural Networks,DNN)被广泛应用于计算机视觉任务中,因此研究基于DNN的单目视觉里程计具有重要意义。首先,针对基于DNN的特征提取与描述算法网络模型参数大、硬件资源消耗大的问题,设计了一种轻量的图像局部特征检测与描述算法。为了获得图像的多尺度特征,设计基于膨胀卷积与基础残差块的骨干网络;注意力机制与跳跃连接的结合,使网络低级语义信息与高级语义信息相融合的同时提取了更加优良的特征。实验结果表明在模型大小仅为1MB且远小于同类方法的情况下,在HPatches数据集上与R2D2算法结果相比,当阈值在2～6像素时,平均匹配精度(MMA)值分别提升了2.3%、2.4%、1.9%、1.4%、1.1%。其次,将所提出的特征检测与描述网络与基于几何方法的里程计算法相融合,构建一个混合方法的视觉里程计并在KITI Odometry数据集的序列09、10上对算法进行比较验证,与VISO2算法相比,所提出混合VO算法的平移误差分别减少55%和53%。最后,针对单目视觉里程计中的尺度模糊问题,提出了一种端到端的视觉里程计算法。在无监督的框架下联合训练深度估计网络和位姿估计网络,并约束它们以预测尺度一致的结果。将算法与当前主流的端到端VO以及基于几何的ORB-SLAM2等算法相比,验证算法的有效性。