基于坐标注意力的杂乱环境中机器人推抓协同学习

作     者：左国玉 赵敏 黄高 龚道雄 ZUO Guoyu;ZHAO Min;HUANG Gao;GONG Daoxiong

作者机构：北京工业大学信息学部北京100124 计算智能与智能系统北京市重点实验室北京100124 

出 版 物：《北京工业大学学报》 (Journal of Beijing University of Technology)

年 卷 期：2024年第50卷第6期

页      面：674-682页

核心收录：

学科分类：080202[工学-机械电子工程] 08[工学] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 

基　　金：国家自然科学基金资助项目(62373016) 多模态人工智能系统全国重点实验室开放课题资助项目(MAIS-2023-22) 

主　　题：机器人学习 推抓协同 杂乱环境 物体位置信息 坐标注意力 物体分散度 

摘      要：为提升机器人在杂乱环境中推抓协同性能、增强网络感知物体位置和物体间的位置信息的能力,提出一种基于物体位置信息的推动与抓取协同网络来解决机器人在杂乱环境中的抓取问题。该网络使用2个全卷积网络分别从视觉观察中推断出抓取和推动操作的位置与方向。使用坐标注意力模块分别沿着二维空间的2个方向聚合特征,即在水平空间方向上捕获长距离依赖关系的同时在垂直空间方向上保持物体的位置信息。然后生成推动和抓取的位置特征的注意力图,以提升网络推断操作位置的准确性。提出物体分散度从全局角度衡量环境中物体间的分散程度,并设计基于物体分散度的推动奖励函数来提升推动动作的质量。在仿真实验中,该网络的抓取成功率和动作效率分别为75.1%和73.2%。在现实世界中,该网络的抓取成功率和动作效率分别为80.1%和76.2%。