基于拓扑特征和位姿解耦的6D目标位姿估计方法研究

作     者：李峥嵘 

作者单位：湖南大学 

学位级别：硕士

导师姓名：李智勇

授予年度：2022年

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：位姿估计 多模态融合 点云处理 拓扑特征 位姿解耦 

摘      要：随着智能制造产业的日渐发展,机器人代替人类进行灵巧作业已经成为了一种必然的趋势。6D目标位姿估计技术是机器人作业中一项基本任务,也是所有作业能够灵巧、精确操作的前提。该任务不仅要定位目标的3D位置,还需要估计目标的朝向。然而,由于真实环境中光照、遮挡情况的复杂性,以及待操作目标的形状、纹理的不确定性,这项任务变得越来越具有挑战性。近年来,由于深度学习在计算机视觉领域中的快速发展,基于卷积神经网络的6D目标位姿估计方法成为了研究热门。另外,由于深度相机的逐渐成熟,基于RGBD图片的位姿估计能使得整个模型更能适应环境的变化。本文研究基于RGBD相机的目标6D位姿估计网络,主要工作如下:(1)提出了一种新颖的基于RGBD的多分支网络模型用于纹理缺乏物体的位姿估计。该网络模型以Densefusion网络架构为基础,在特征提取阶段增加了对目标模板的拓扑结构特征进行提取的分支,融合该拓扑特征能够有效的提高深度信息对于目标位姿估计的作用。此外,对于场景中深度信息与颜色信息极度不平衡的问题,设计了一种多尺度的特征融合机制通过两种特征的信息量进行尺度分配,有效的缓解了光照强烈等环境因素带来的影响。最后,设计了一种基于上述信息量的损失函数来平衡两个分支的损失,提高了网络鲁棒性。经过基准数据集的实验,证明了该网络有效的提高了无纹理目标的精度。(2)提出了一种将旋转估计与位置估计相解耦的网络模型用于目标的6D位姿估计。该网络以人类习惯为灵感,让网络先估计目标相对于相机的旋转,然后以该旋转为先验知识进行精确的定位。针对点云配准中的不同源问题,设计了一种换源采样机制来使得目标3D模板和相机点云具有相似的拓扑结构,从而进行精密的配准。最后,设计了一种同样基于先旋转后平移的精细化网络来迭代的调整目标位姿,使得精度进一步提升。该网络在LineMode数据集和YCB-video数据集上都能达到最先进的准确度。并且由于使用网络代替传统的ICP算法进行配准,在推理速度上也有很大的优势。(3)建立了一个机器人视觉6D目标位姿估计测试系统,实现真实场景下的位姿估计。该系统采用了Intel RealSense D415作为视觉传感器,在多个场景下建立了实例分割数据集和位姿估计数据集,并分别使用LabelMe和LabelFusion进行了精准的数据集标注。经过在该系统上对上述提出的算法进行了实验,证明了算法的有效性。