强化学习控制方法及在类火箭飞行器上的应用

作     者：黄旭 柳嘉润 贾晨辉 骆无意 巩庆海 冯明涛 HUANG Xu;LIU Jiarun;JIA Chenhui;LUO Wuyi;GONG Qinghai;FENG Mingtao

作者机构：北京航天自动控制研究所北京100854 宇航智能控制技术国家级重点实验室北京100854 

出 版 物：《宇航学报》 (Journal of Astronautics)

年 卷 期：2023年第44卷第5期

页      面：708-718页

核心收录：

学科分类：08[工学] 081105[工学-导航、制导与控制] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金(U21B2028) 

主　　题：强化学习(RL) 深度确定性策略梯度算法(DDPG) 姿态控制 飞行试验 

摘      要：针对类火箭飞行器进行了基于深度确定性策略梯度(DDPG)算法的姿态控制研究,完成了算法设计和智能体训练,并进行了仿真与飞行试验。基于飞行器六自由度模型搭建飞行模拟器,针对悬停模式,以多拍姿态角跟踪误差以及姿态角速度作为智能体可观测的状态,控制指令作为智能体动作,设计了含有跟踪误差、控制指令变化量以及一次性奖励的回报函数,在模拟器中训练智能体并完成了从仿真环境到真实系统的迁移。研究中未按传统设计流程对飞行器模型进行通道分解等简化,轻量化神经网络形式的智能体仅通过与模拟器交互的形式学习姿态控制策略,智能体在仿真和飞行试验中都展现出了良好性能。