基于深度强化学习的履带机器人摆臂控制方法

作     者：潘海南 陈柏良 黄开宏 任君凯 程创 卢惠民 张辉 Pan Hainan;Chen Bailiang;Huang Kaihong;Ren Junkai;Cheng Chuang;Lu Huimin;Zhang Hui

作者机构：国防科技大学智能科学学院湖南长沙410073 

出 版 物：《系统仿真学报》 (Journal of System Simulation)

年 卷 期：2024年第36卷第2期

页      面：405-414页

核心收录：

学科分类：081104[工学-模式识别与智能系统] 08[工学] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金联合基金重点项目(U1813205 U1913202) 

主　　题：履带机器人 摆臂自主控制 自主越障 深度强化学习 机器人操作 

摘      要：摆臂式履带机器人具有一定的地形适应能力,实现摆臂的自主控制对提升机器人在复杂环境中的智能化作业水平具有重要意义。结合专家越障知识和技术指标对机器人的摆臂控制问题进行马尔可夫决策过程(Markov decision process,MDP)建模,基于物理仿真引擎Pymunk搭建了越障训练的仿真环境;提出一种基于D3QN(dueling double DQN)网络模型的深度强化学习摆臂控制算法,以地形信息与机器人状态为输入,以机器人前后四摆臂转角为输出,能够实现挑战性地形下履带机器人摆臂的自学习控制。在Gazebo三维仿真环境中将算法学得的控制策略与人工操纵进行了对比实验,结果表明:所提算法相对人工操纵具有更加高效的复杂地形通行能力。