基于深度强化学习的机械臂密集堆叠物体智能抓取研究

作     者：张浩博 

作者单位：河南科技大学 

学位级别：硕士

导师姓名：仲志丹;庞永星

授予年度：2022年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 080202[工学-机械电子工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 

主      题：深度强化学习 抓取物体 机械臂 加权采样 DQN 

摘      要：机械臂抓取物体是目前智能机器人研究的重点方向之一,比较常见的是在结构化的空间中,代替人类完成简单重复的抓取工作。随着深度学习(Deep Learning,DL)的发展,机械臂可以在非结构化空间中抓取物体,但是需要事先人为的对目标物体的特征进行标定,训练大量有关模型的数据集,抓取对象是特定的物体,缺少一定的泛化性。随着深度强化学习(Deep Reinforcement Learning,DRL)近几年被越来越多的学者应用到机器人控制方面,能够在非结构化环境下自主的进行学习训练,获得了不错的效果。本文基于深度强化学习的控制算法,研究机械臂在非模型的环境下对密集堆叠物体的智能化抓取,论文的主要工作如下:首先,本文研究并提出了一种基于深度Q网络(Deep Q-Learning Network,DQN)的机械臂控制策略算法,将抓取过程建模为马尔科夫决策过程,在密集物体环境下通过自监督的方式训练抓取的动作。针对在密集堆叠物体环境下,设计了一种模块化的推动和抓取策略,通过对当前物体的分布状态识别检测,判断是否存在独立的物体,若存在执行抓取动作,否则通过推动堆叠物体,改变其分布状态,使环境中重新出现独立的物体。以此反复,从而提高机械臂在密集堆叠物体环境下的抓取效率。其次,对采用的DQN算法进行优化,在训练前期使用高斯模型,提高机械臂探索环境的能力,以便获得最优的抓取位置;设计基于Sumtree的数据结构来存储样本,实现对样本的加权采样,提高机械臂训练的效率;选用Radam优化算法对神经网络中的参数迭代更新。最后,在V-REP仿真平台上进行实验验证,其结果表明,在密集堆叠物体环境下,优化后的DQN算法比传统的DQN算法收敛速度提高了约25%,抓取目标物体的成功率稳定在90%左右。在基于推动和抓取相结合的方法下,与单一的抓取方法相比较,达到平均抓取成功率的速度提高了33.3%,能够更快速的完成对密集堆叠物体的抓取任务,具有一定的实用性。