引入注意力机制的RGB-D语义地图研究

作     者：伏娜娜 

作者单位：安徽工程大学 

学位级别：硕士

导师姓名：许钢;朱标

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：视觉SLAM 注意力机制 RGB-D图像语义分割 语义信息融合 语义地图 

摘      要：传统同时定位与地图构建（Simultaneous Localization And Mapping,SLAM）技术得到的三维地图没有语义信息,只能在一定程度上满足定位需要。为了进一步提高机器人的智能化水平,需要得到更加有利于交互的环境地图。同时,针对现有的大多数视觉SLAM算法存在的问题,本文提出基于语义的SLAM系统来构建环境语义地图,能够帮助机器人在复杂室内场景中实现更高层次的环境感知和智能交互任务。为了完成地图的更新、校正,并且提高地图的实用性,将得到的语义地图进行存储方式转换。主要研究内容包括:（1）针对室内场景中RGB图像受光照不均影响较大这一问题,引入了深度数据对光照变化具有鲁棒性,能够更好地区分室内环境语义类别,采用了融合深度信息的语义分割方法。在此基础上,为有效融合RGB图像和深度图像特征信息,提出了一种用于优化通道特征融合的语义分割方法,引入注意力机制用于提取重要特征,接着对其做优化处理,在上采样过程中将RGB-D特征逐层有效的融合,捕获丰富的特征信息,提高了图像语义分割精度。在室内数据集NYUD v2和SUN-RGBD上的实验结果表明,本章提出的语义分割网络可以较好地用于室内环境。（2）针对移动机器人自主定位及环境建图的需要,本文研究并设计了视觉SLAM系统。由于传统的ORB-SLAM2构建的地图点云信息稀疏,会造成定位信息丢失。因此,本文在ORB-SLAM2基础上先对输入的关键帧图像进行特征提取,再将其转换成点云的形式表现,最后将点云序列进行融合和拼接,从而得到全局场景的三维稠密点云地图。通过实验验证了该算法在一定程度上减少了由于无效信息导致的误匹配现象,提高了建图精度。（3）通过学习图像语义分割模型,分析视觉SLAM的算法流程,提出了一种语义标注的环境地图构建方法。首先通过语义分割网络获取二维图像中物体的语义信息,然后利用视觉SLAM算法中建立的相邻图像间的像素关联,通过贝叶斯更新方法不断更新、融合二维语义信息到三维环境地图中,最后以点云地图形式保存得到语义地图。（4）为了进一步压缩地图的储存空间,用体素取代点云来构建语义八叉树地图,以便移动机器人更好地完成避障和导航任务。综上所述,整个过程先是对场景中RGB-D图像进行语义标注,然后使用基于特征点法的SLAM技术完成室内场景的三维稠密地图构建,最后将语义信息融合进三维地图中,可得到含有语义信息的三维稠密地图。实验结果表明,提出的语义分割算法和语义地图构建方法都取得了较好的实验结果,为以后移动机器人执行更复杂的高层次任务打下了基础。