喷气驱动航天器姿态控制强化学习算法及实验

作     者：杜德嵩 刘延芳 袁秋帆 赵福友 齐乃明 DU Desong;LIU Yanfang;YUAN Qiufan;ZHAO Fuyou;QI Naiming

作者机构：哈尔滨工业大学航天学院哈尔滨150001 上海宇航系统工程研究所上海201109 

出 版 物：《宇航学报》 (Journal of Astronautics)

年 卷 期：2024年第45卷第6期

页      面：903-913页

核心收录：

学科分类：0711[理学-系统科学] 08[工学] 0708[理学-地球物理学] 081105[工学-导航、制导与控制] 0816[工学-测绘科学与技术] 0825[工学-航空宇航科学与技术] 0811[工学-控制科学与工程] 

基　　金：国家重点研发计划(2022YFB3902701) 国家自然科学基金(52272390) 黑龙江省自然科学基金优秀青年项目(YQ2022A009) 

主　　题：强化学习 姿态控制 李雅普诺夫函数 半物理仿真 

摘      要：针对喷气驱动航天器在推力幅值受限条件下的姿态控制问题,提出一种姿态控制强化学习算法。该算法包含两个神经网络,即控制策略网络和李雅普诺夫神经网络。其中,控制策略网络直接以喷气推力器的推力作为输出,训练数据中推力满足幅值约束条件,隐式地解决推力分配优化和控制量饱和问题;设计姿态控制强化学习算法,并引入基于样本数据的航天器姿态稳定性定理,保证学习得到的控制策略的稳定性。仿真结果表明,与主流的强化学习算法和传统姿态控制方法相比,所提出的姿态控制算法在敏捷性方面表现出显著优势。此外,将控制策略移植到半物理仿真平台,控制策略能够有效完成航天器的大角度机动任务,从而证明了通过所提出的姿态控制算法训练得到的控制策略具有良好的泛化性和鲁棒性。