基于多智能体强化学习的空间机械臂轨迹规划

作     者：赵毓 管公顺 郭继峰 于晓强 颜鹏 ZHAO Yu;GUAN Gongshun;GUO Jifeng;YU Xiaoqiang;YAN Peng

作者机构：哈尔滨工业大学航天学院哈尔滨150001 

出 版 物：《航空学报》 (Acta Aeronautica et Astronautica Sinica)

年 卷 期：2021年第42卷第1期

页      面：259-269页

核心收录：

学科分类：08[工学] 0825[工学-航空宇航科学与技术] 

基　　金：国家自然科学基金(61973101) 航空科学基金(20180577005) 

主　　题：机械臂 轨迹规划 多智能体 策略梯度 在轨捕捉 

摘      要：针对某型六自由度(DOF)空间漂浮机械臂对运动目标捕捉场景,开展了基于深度强化学习的在线轨迹规划方法研究。首先给出了机械臂DH(Denavit-Hartenberg)模型,考虑组合体力学耦合特性建立了多刚体运动学和动力学模型。然后提出了一种改进深度确定性策略梯度算法,以各关节为决策智能体建立了多智能体自学习系统。而后建立了“线下集中学习,线上分布执行的空间机械臂对匀速直线运动目标捕捉训练系统,构建以目标相对距离和总操作时间为参数的奖励函数。最后通过数学仿真验证,实现了机械臂对各向匀速运动目标的快速捕捉,平均完成耗时5.4s。与传统基于随机采样的规划算法对比,本文提出的自主决策运动规划方法求解速度和鲁棒性更优。