基于深度学习与视觉SLAM的室内三维语义地图建立

作     者：殷昕 

作者单位：厦门大学 

学位级别：硕士

导师姓名：林冬云

授予年度：2020年

学科分类：080202[工学-机械电子工程] 08[工学] 080203[工学-机械设计及理论] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 

主      题：深度学习 语义分割 RGB-D视觉SLAM 室内三维语义重建 

摘      要：随着人工智能技术的不断发展,智能机器人开始在人们的生产生活中扮演重要的角色,拥有广泛的应用,如无人汽车驾驶、扫地机器人等。环境感知与理解是移动机器人智能化的关键因素之一,机器人通过传感器获取周围环境的信息,并且在计算机中计算分析理解。视觉传感器所获取的图像中蕴含了极为丰富的环境信息,如何利用这些图像数据,使得机器人能够像人的眼睛一样去感知和理解周围的环境,是人工智能与计算机视觉领域的一个重要问题。本文针对室内场景,使用RGB-D相机获取周围环境的图像与深度数据,结合深度学习与RGB-D视觉SLAM在ROS中搭建一个室内三维语义地图建立系统,从而帮助机器人建立室内三维语义地图,更好地感知与理解环境信息。首先对二维语义分割进行研究。针对本文所研究的室内场景,探讨了深度学习在语义分割上的应用,介绍了卷积神经网络的相关技术,结合残差网络结构、金字塔池化模块以及多层上采样结构,设计并训练出符合本文实验要求的室内场景语义分割网络。其次对RGB-D视觉SLAM进行了研究。对视觉SLAM技术的基础知识与应用进行探讨,为本文实验所使用的Kinect V1相机选用了合适的ORB-SLAM2作为室内三维语义地图建立系统的SLAM模块,并对ORB-SLAM2进行了详细介绍。最后对室内三维语义地图建立进行了研究。在ROS中搭建整个室内三维语义地图建立系统,选用Octomap作为建立三维地图的工具,详细介绍了地图的建立的流程。在不同语义信息融合的问题上,提出了最大融合以及一种改进的贝叶斯语义融合方法,并进行了实验。二维语义分割的实验表明,本文设计与训练出的语义分割卷积神经网络能够对室内场景进行有效的语义分割,保证了系统的稳定与可靠。而在室内三维语义地图建立的实验中,本文所搭建的系统能够在实验室的室内环境中准确地建立出三维语义地图,证明了该系统的可行性与有效性。