基于关键点预测网络的机器人抓取方法研究

作     者：伍俊岚 

作者单位：湖南大学 

学位级别：硕士

导师姓名：朱青;李先怀

授予年度：2023年

学科分类：080202[工学-机械电子工程] 08[工学] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 

主      题：机器人抓取 位姿估计 实例分割 关键点预测 

摘      要：视觉引导的机器人抓取技术可以帮助机器人在不同的场景下完成不同的抓取任务,具有重要的研究价值。目前,基于视觉的机器人抓取任务存在着一些难点,例如处理弱纹理对象、场景中物体之间的遮挡堆叠以及环境光改变等问题。在无序混叠环境下,现有的感知方法很难从杂乱场景中提取出鲁棒的图像特征来完成实例分割和6-Do F位姿估计任务。因此,本文对混乱堆叠场景下的机器人视觉抓取方法展开研究。主要工作如下: (1)针对位姿估计数据集制作过程中真实位姿标注流程复杂的问题,制作了一个简化标注的混叠工件位姿估计的数据集,数据集以混乱堆叠的手机壳为对象,包含了正常无堆叠场景、背景杂物遮挡场景以及紧密排布的堆叠场景,对每张图片中的手机壳实例以及每个手机壳的关键点进行了标注,避免了位姿数据标注的繁琐过程,且不要求获取物体的三维模型。 (2)针对对象被遮挡导致的实例分割不准确的问题,提出了一种基于中心点预测的实例分割方法,该方法利用像素级预测机制实现了基于语义分割的多实例识别。每个像素不仅可以预测一个对象类别,还可以预测一个实例中心位置,然后通过聚类算法将属于同一实例的像素聚集在一起。实验证明该方法对遮挡和光照具有很好的鲁棒性。 (3)针对混叠场景下位姿估计面临的遮挡与堆叠难题,搭建了一个两阶段的位姿估计网络。通过在上述实例分割网络的基础上添加了一个关键点预测分支,先由深度神经网络预测工件关键点向量场,再由向量场投票预测关键点,最终联合关键点及实例分割的结果使用Pn P算法实现对目标物体的位姿估计。实验结果表明使用该方法预测关键点具有良好的遮挡及光照鲁棒性,且本方法在Line Mod数据集上的平均位姿估计准确率达90.2%,达到当前先进水平。 (4)搭建了一个机器人抓取系统,对系统的总体框架及算法运行流程进行了设计。在所搭建的机器人抓取系统上对本文设计的位姿估计方法的实用性进行检验,通过相机标定、手眼标定以及机械臂抓取路径规划,将相机与机械臂协同起来,使系统能够完成机械臂抓取任务。开展了抓取实验并进行分析,结果表明系统能够达到95%以上的抓取成功率,具有一定的实用价值。