基于多传感器融合的足式机器人实时鲁棒三维环境感知技术研究应用

作     者：黄开基 

作者单位：华中科技大学 

学位级别：硕士

导师姓名：杨华

授予年度：2022年

学科分类：080202[工学-机械电子工程] 08[工学] 080203[工学-机械设计及理论] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 

主      题：三维感知 多传感器标定 深度图融合 局部描述子 三维感知装置 

摘      要：三维感知技术是机器人感知周围环境中三维信息的关键技术,是足式机器人进行路径规划等高级决策的基础。为了应对特殊任务需求和复杂作业环境,要求三维感知系统能够进行高速、高精度、高鲁棒性的场景深度估计。因此,本文针对足式机器人中的高速高精高鲁棒三维感知问题开展研究,设计了一套基于多传感器融合的三维感知方案,并提出了一种局部描述子算法。具体研究工作如下:(1)针对双目相机和ToF(Time of Flight)相机的配准问题,本文研究了一种基于2.5D图案的标定方法。该方法分别对双目和ToF相机进行内参数标定,使用ToF深度数据与RGB(Red Green Blue)图像进行外参数标定,实现了对双目和ToF数据的精确配准。该方法达到了0.21 pixel重投影误差,优于基于棋盘格张标定法。(2)围绕单一数据来源的深度估计算法无法在复杂场景精确测距的问题,本文提出了一种基于置信度的双目和ToF的融合算法CTSLF(Confidence-based ToF Stereo Local Fusion)。该算法首先对稀疏ToF数据进行双边引导上采样,然后对双目视觉数据和ToF数据分别估计置信度,最后通过局部一致性算法(Locally Consistent,LC)进行数据融合。该融合算法的平均误差达到1.05%,优于双目、ToF和经典LC方法。(3)针对足式机器人回环检测和Sf M(Structure from Motion)等任务中现有描述子鲁棒性不足的问题,本文提出了一种基于空间对抗干扰的动态概率加权描述子算法SAPNet。该算法通过生成具有几何空间变换的对抗样本,提高了网络对视角变换的鲁棒性;同时使用了基于动态概率加权的方法,使得网络更专注于决策边界的样本优化。本文提出的SAPNet在UBC的指标达到了0.78%,超过了当前其他描述子。在理论研究的基础上,本文研制了一套实时鲁棒三维感知装置,并将CTSLF算法使用CUDA进行实现,从而达到了1024×1024 pixels@120 fps的双目图像和62fps融合深度图输出。本文在多种任务进行了实验验证,该系统优于单一传感器和市面上常见的RGB-D(Red-Green-Blue-Depth)传感器方案,证明了该系统的有效性。