基于改进的DDPG算法的蛇形机器人路径规划方法

作     者：郝崇清 任博恒 赵庆鹏 侯宝帅 白彤 武晓晶 樊劲辉 HAO Chongqing;REN Boheng;ZHAO Qingpeng;HOU Baoshuai;BAI Tong;WU Xiaojing;FAN Jinhui

作者机构：河北科技大学电气工程学院河北石家庄050018 南京邮电大学通信与信息工程学院江苏南京210023 

出 版 物：《河北科技大学学报》 (Journal of Hebei University of Science and Technology)

年 卷 期：2023年第44卷第2期

页      面：165-176页

学科分类：081104[工学-模式识别与智能系统] 08[工学] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金(62003129) 河北省重点研发计划项目(20326628D) 

主　　题：机器人控制 蛇形机器人 改进的DDPG算法 强化学习 CPG网络 Webots三维仿真 

摘      要：针对蛇形机器人执行路径规划任务时,面对复杂环境传统强化学习算法出现的训练速度慢、容易陷入死区导致收敛速度慢等问题,提出了一种改进的深度确定性策略梯度(deep determin-istic policy gradient,DDPG)算法。首先,在策略-价值(actor-critic)网络中引入多层长短期记忆(long short-term memory,LSTM)神经网络模型,使其控制经验池中信息的记忆和遗忘程度;其次,通过最优化特征参数将CPG(central pattern generators)网络融入强化学习模型,并设计新型网络状态空间和奖励函数;最后,将改进算法与传统算法分别部署在Webots环境中进行仿真实验。结果表明,相比于传统算法,改进算法整体训练时间平均降低了15%,到达目标点迭代次数平均降低了22%,减少了行驶过程中陷入死区的次数,收敛速度也有明显的提升。因此所提算法可以有效地引导蛇形机器人躲避障碍物,为其在复杂环境下执行路径规划任务提供了新的思路。