基于多任务卷积网络的机器人堆叠目标抓取方法研究

作     者：苗春晓 

作者单位：厦门理工学院 

学位级别：硕士

导师姓名：仲训杲;仲训昱

授予年度：2022年

学科分类：08[工学] 080202[工学-机械电子工程] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：堆叠场景 区域候选网络 感兴趣区域 操作关系推理 机器人意图抓取 

摘      要：随着劳动力成本上升与人口红利下降,社会对机器人的需求愈加迫切。在工业、农业和医疗等领域中,使用机械代替人类工作的趋势愈发明显。对人类而言,抓取动作是一种本能,即使在动态变化的环境中,人类也能稳定、准确地抓取一个特定的目标。但是对于机器人来说,抓取任务因涉及环境感知和建模、运动规划和执行控制仍然是非常具有挑战性的科学问题。本文主要围绕机器人堆叠场景多任务抓取,结合深度学习理论与技术,重点研究与实现机器人堆叠目标抓取区域的检测与抓取顺序的判别,本文将从以下几个方面展开研究:1.针对堆叠场景因物体存在过度重叠和遮挡导致抓取检测困难的问题,提出一种基于区域候选网络(Region Proposal Networks,RPN)的机器人抓取检测新方法,研究方法首先提取抓取场景的感兴趣区域(Region of Interest,ROI),然后在ROI特征图上进一步实现深度学习抓取检测。本文所提出的抓取检测思想是基于对象的ROI特征学习,而不同于传统学习方法基于整个抓取场景图的特征学习,从而有效消除杂乱背景的影响,并能有效提升堆叠场景下的机器人鲁棒抓取性能。在视觉操作关系数据集(Visual Manipulation Relationship Dataset,VMRD)和康奈尔抓取数据集(Cornell Grasp Dataset)上进行验证,结果表明研究方法在单目标场景中可与目前最新抓取检测算法相媲美,而在密集堆叠场景中与现有方法相比则具有更好的抓取检测性能。2.针对堆叠多目标抓取检测与其对应的目标类别匹配难问题,提出一种新的多任务深度网络结构,通过在ROI池化层后增加一个目标检测器,同时实现目标检测和抓取检测。目标检测器和抓取检测器以ROI特征为输入,网络模型能够有效判断物体类别,并在密集堆叠场景中有效匹配检测目标和抓取位置的对应关系,实现机器人在堆叠场景下对不同类别对象的意图抓取。3.针对抓取检测锚框定向问题,设计了一种基于旋转角的定向锚框机制,通过在输入图像上的每个区域设置多个具有不同默认旋转角度的有向先验矩形作为最终抓取检测基准,以提高抓取检测的准确性。考虑目前Jaccard索引的局限性,提出了一种有效的定向锚框匹配策略,新的锚框策略具有较低的计算复杂度,可以更好地适应所提出的方法框架并给出更准确的匹配结果。4.针对堆叠场景机器人目标抓取操作关系推理准确率低的问题,提出一种融合视觉特征与位置信息的操作关系推理算法。通过设计物体对池化层(Object Pairing Pooling Layer,OPL),实现物体检测和操作关系推理的端对端训练,提升抓取检测算法的速度和性能。该算法遍历目标检测器的输出结果,计算得出物体对的联合框图像位置,改进目前仅采用视觉特征作为推理线索的情况,提取物体之间的相对位置特征作为视觉特征的补充,降低操作关系误判的概率。通过对比实验,证明了该方法可有效提高识别物体对操作关系的精确率,增强模型推理能力,从而提高识别抓取顺序的准确性。5.综合上述提出的抓取检测算法和操作关系推理算法,设计一种面向物体密集堆叠场景的机器人感知、推理和意图抓取深度框架。该方法首先以场景图像作为输入实现目标检测和抓取检测,然后通过操作关系推理算法得到场景目标正确的抓取顺序,依据抓取顺序输出对应物体的抓取检测结果。通过坐标转换将获得的相机坐标系下的位姿信息转换为在机械臂基坐标系下的位姿,并采用机器人逆运动学模型实现机器人抓取运动规划。最后,通过不同场景下的机器人抓取操作实验证明提出方法的可行性,实验结果表明该方法在堆叠场景下能精确完成抓取检测,并使机器人按意图顺序抓取指定物体。