基于视觉的机器人抓取过程的智能学习方法研究

作     者：杨雄 

作者单位：西南科技大学 

学位级别：硕士

导师姓名：姜官武;沈华平

授予年度：2023年

学科分类：08[工学] 080202[工学-机械电子工程] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：目标检测 旋转锚框 位姿估计 机器人抓取 

摘      要：随着机器人技术的不断发展,机器人已被广泛用于社会的各个领域,小到儿童玩具,大到空间站上安装的多轴机械臂。抓取是机器人应用范围内需具备的基础和重要的功能,而要让机器人能够智能抓取,一个好的抓取检测结果是抓取任务顺利进行的前提。但在物体种类多样,物体摆放不固定存在倾斜,排列密集的非结构化环境下,会降低机器人目标识别与抓取能力。本课题对基于深度学习的目标检测与抓取位姿估计等方法进行了研究,实现了在物体种类多样,方向任意,摆放密集场景下机器人多目标识别与抓取方法,并在相关场景下开展了机器人抓取实验。主要研究工作如下:(1)设计了机器人视觉抓取系统整体框架。完成了视觉感知系统双目相机的内参标定以及机械臂与相机的手眼标定。(2)基于Retinanet目标检测网络,对其特征金子塔层进行了修改,使用PANet替换了原网络的FPN,并在网络中加入了注意力机制CBAM,使得网络能更好的对密集场景下的物体进行识别和定位。为了在物体长宽比大,存在倾斜和密集排列的情况下有效的将目标与背景分离,本文在预测部分加入了对角度的预测,使水平锚框变成了旋转锚框。通过引入KFIoU,解决了旋转框回归时带来的边界问题和类正方形问题,KFIoU也能够使度量和损失保持一致。基于自建的物体密集场景数据集开展了多目标识别和定位测试实验,测试精度达到了91.8%,优于原网络,验证了改进模型的有效性。(3)对机器人抓取检测方法进行了研究。通过引入有向箭头抓取模型(Oriented Arrow Representation Model,OAR)来表示对象的抓取配置,为了避免角度冲突和简化标记,将同一位置的OAR模型用自适应抓取位姿属性模型(Adaptive Grasping Attribute Model,AGA)进行建模。引入了AFFGA-Net像素级抓取位姿估计网络,在AFFGA-Net的基础上做了部分修改,我们用Resnet50网络替换了原网络的Resnet100,加快网络的运行速率,其次将混合空洞空间金字塔层的下金字塔层的空穴率设置为{3,4},避免大的空穴率导致信息利用率低,局部特征丢失。对康奈尔数据集也做了重新标注,并用重新标注的数据集对网络模型进行了训练和测试,取得了96.3%的抓取检测精度。(4)搭建机器人抓取实验平台,将目标检测网络和抓取检测网络结合,完成抓取算法设计。设计了单物体一次抓取实验和多物体整体抓取实验,对算法性能和机器人抓取可靠性进行了测试验证。本课题提出的目标检测和抓取检测方法,能够有效的在物体密集,倾角任意,姿态随意的场景下实现物体的识别定位和位姿估计,有助于提高基于视觉的机器人抓取的智能化水平,为机器人在装配,分拣和服务等相关领域的应用提供了一定的价值。