基于优化并行的四足机器人运动技能学习

作     者：张思远 朱晓庆 陈江涛 刘鑫源 王涛 ZHANG Siyuan;ZHU Xiaoqing;CHEN Jiangtao;LIU Xinyuan;WANG Tao

作者机构：北京工业大学信息学部 北京工业大学北京人工智能研究院北京计算智能与智能系统重点实验室 

出 版 物：《清华大学学报(自然科学版)》 (Journal of Tsinghua University(Science and Technology))

年 卷 期：2024年第64卷第10期

页      面：1696-1705页

核心收录：

学科分类：080202[工学-机械电子工程] 08[工学] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 

基　　金：国家自然科学基金青年科学基金项目(62103009) 北京市自然科学基金面上项目(4202005) 

主　　题：生物进化 强化学习 四足机器人 进化策略 

摘      要：动物对自然界的适应能力是由环境选择与适者生存决定的，四足哺乳动物可以通过种群的进化逐步适应环境的变化，提高其对环境的适应度和种群的生存率。基于上述启发，该文在软演员-评论家(SAC)算法基础上提出一种基于优化并行强化学习的算法OP-SAC,该算法使用进化策略与强化学习交替训练，通过知识共享和知识继承优化四足机器人学习效果，提高训练效率。算法验证结果显示，OP-SAC算法能够完成四足机器人的仿生步态学习；对比实验验证出OP-SAC算法比其他结合了进化策略的SAC算法具有更加优越的鲁棒性；设计消融实验证明了知识共享和知识继承策略使算法的训练效果获得较大提升。