基于动态场景下视觉语义SLAM系统研究

作     者：陈涧鑫 

作者单位：天津职业技术师范大学 

学位级别：硕士

导师姓名：甘海云;王志鹏

授予年度：2024年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：视觉SLAM 动态环境 位姿估计 语义地图 

摘      要：SLAM(Simultaneous Localization and Mapping)是一种用于同时实现机器人在未知环境中定位自身位置并构建地图的技术。视觉SLAM则是利用摄像头捕获的图像数据进行定位和地图构建。通过对图像数据的实时分析,视觉SLAM能够计算相机的运动轨迹,并识别环境中的关键特征点,从而实现对机器人或传感器位置的准确定位和环境地图的构建。在视觉SLAM中,动态物体的存在对系统的性能提出了挑战。动态物体,如移动车辆、行人等,由于其运动特性可能引入误差,影响SLAM系统对环境的建模和机器人的定位。在动态场景中,动态物体的出现可能导致地图更新困难,甚至影响定位的准确性。为了解决动态物体对SLAM系统的影响,本文提出了一种基于LK光流和YOLOv8的联合方法,通过充分利用光流信息和目标检测技术,实现了动态点的准确剔除,并将其融入SLAM框架,以提高系统在动态环境中的鲁棒性和精确性。并且,增加语义地图的构建。首先,需要预先定义生活中常见的动态物体类别,比如人、车、宠物等。将图像帧传入至YOLOv8目标检测器,经过目标检测模型推理后得到图像中各个物体类别、边界框和置信度信息。由YOLOv8目标检测得到的属于动态物体框内的特征点作为动态点候选点,进一步使用LK光流判断框内物体是否在运动,准确得到动态点并进行剔除,以减少动态点对视觉SLAM位姿估计和的地图质量的影响。其次,在不影响实时性的情况下构建语义地图,利用YOLOv8模型在相机捕获的图像中检测物体并获取其类别信息。将YOLOv8识别的物体类别和位置信息与SLAM系统的地图数据进行融合,将识别的物体类别与地图中的特定位置关联起来。语义信息的融合能够为SLAM系统提供更丰富的环境理解能力,使机器人或传感器能够更准确地感知和理解周围环境。使SLAM系统能够更好地感知环境中的物体类别,为路径规划和避障提供更可靠的信息。最后,在实验评估方面,使用真实场景和数据集上进行了广泛的测试。结果表明,本文提出的方法相较于ORB＿SLAM3算法,在动态场景下具有更高的鲁棒性和精确性。特别是在面对频繁动态变化的复杂环境时,该方法显著提升了系统的性能。