基于视觉推理的机器人多物体堆叠场景抓取方法

作     者：张翰博 兰旭光 周欣文 田智强 张扬 郑南宁 ZHANG HanBo;LAN XuGuang;ZHOU XinWen;TIAN ZhiQiang;ZHANG Yang & ZHENG NanNing

作者机构：西安交通大学电信学院人工智能与机器人研究所视觉信息处理与应用国家工程实验室西安710049 

出 版 物：《中国科学：技术科学》 (Scientia Sinica(Technologica))

年 卷 期：2018年第48卷第12期

页      面：1341-1356页

核心收录：

学科分类：080202[工学-机械电子工程] 08[工学] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 

基　　金：国家自然科学基金(批准号:91748208 61573268) 国家重点研发计划(编号:2017YFB1302200)资助项目 

主　　题：机器人抓取 视觉操作关系推理 视觉抓取部位检测 视觉操作关系数据集 

摘      要：基于视觉的机器人抓取方法是研究智能机器人抓取问题的重要思路.本文提出了一种基于机器视觉推理的适用于多物体堆叠场景的机器人抓取方法,算法包含了场景理解和抓取规划两个步骤.在第一步的场景理解中,本文的算法包含两个主要部分:视觉操作关系推理和抓取部位检测.在视觉操作关系推理中,本文提出了一种基于深度卷积网络的视觉操作关系网络(Visual Manipulation Relationship Network, VMRN),以对物体和操作关系进行实时推理.在视觉操作关系网络中,通过设计物体对池化层,实现了物体检测和操作关系推理的端对端训练,提升了算法的速度和性能.在第二步的抓取部位检测中,本文提出了基于有向锚点框的全卷积视觉抓取部位检测网络,实现了对物体抓取部位的实时检测,并在康奈尔抓取数据集上取得了目前最高的精度.在抓取规划中,通过结合场景深度信息和抓取部位检测结果,获取当前被抓取物体的抓取点和对应的抓取向量,并通过坐标系变换将Kinect坐标系的抓取向量映射为机器人坐标系的抓取向量,完成当前抓取.实验结果表明,本文提出的机器人抓取方法能够在多物体堆叠环境下按照正确顺序完成抓取任务,并成功抓取目标物体.