基于视觉SLAM的语义地图构建研究

作     者：韩胜利 

作者单位：哈尔滨工程大学 

学位级别：硕士

导师姓名：莫宏伟;牟海刚

授予年度：2022年

学科分类：08[工学] 080202[工学-机械电子工程] 080203[工学-机械设计及理论] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 

主      题：同步定位与建图 视觉SLAM Mask RCNN 语义地图 

摘      要：随着机器人技术蓬勃发展,越来越多的机器人走入人们的视野,为人们的日常生活、工业生产等提供着便利。同步定位与建图(SLAM)技术能够使机器人在未知环境下,利用相关传感器实时感知自身状态与周围环境,并根据感知结果对周围环境进行描述,生成相应的地图,是移动机器人实现真正智能化的基础。近年来,出于成本和能够获取的环境信息量的考虑,基于相机的视觉SLAM方法成为了该领域的研究主流。传统视觉SLAM方法构建出的环境点云地图只是空间中一些无意义点的集合,只能用于机器人的定位,难以为机器人理解周围环境、执行智能任务提供有效信息。针对这种情况,本文以RGB-D相机作为系统传感器,ORB SLAM2为基础框架,结合Mask RCNN对图像进行语义分割,获取环境中的语义信息,然后将该语义信息与环境的点云地图进行数据关联,为环境点云添加语义描述,构建出环境的语义地图。本文主要研究内容如下:首先,针对Kinect2输出的彩色图像与深度图像存在不对齐和深度图存在深度值未知的深度空洞的问题对RGB-D图像数据进行了预处理。即利用相机成像模型对彩色图像和深度图像进行了校准,使空间点的颜色信息与深度信息一一对应。对于深度空洞,本文结合彩色图像的像素梯度对其进行了补全。其次,基于Mask RCNN实现了对彩色图像的语义标注,并针对Mask RCNN存在物体边缘分割精度不佳的情况,将SLIC超像素分割得到的物体边缘信息与语义掩膜进行融合,从而得到了更高精度的图像语义掩膜,为系统提供精度更高的语义信息。接着,本文基于ORB SLAM2框架,融合语义信息,构建出环境的语义点云地图。并利用点云库对点云存在的离群点和冗余点进行了剔除。为了减小地图的存储空间,构建了环境的语义八叉树地图。最后,为了验证本文提出的语义地图构建算法的可行性、有效性以及先进性,本文在TUM数据和实际环境中进行了实验,并与不同算法进行了对比实验。实验结果表明,本文算法能够明显提高语义地图的精度。