基于强化学习的全电推进卫星变轨优化方法

作     者：韩明仁 王玉峰 HAN Mingren;WANG Yufeng

作者机构：北京控制工程研究所北京100094 空间智能控制技术重点实验室北京100094 

出 版 物：《系统工程与电子技术》 (Systems Engineering and Electronics)

年 卷 期：2022年第44卷第5期

页      面：1652-1661页

核心收录：

学科分类：08[工学] 0825[工学-航空宇航科学与技术] 

基　　金：国家自然科学基金(11502017)资助课题 

主　　题：全电推进卫星 小推力变轨优化 强化学习 近端策略优化 训练加速方法 

摘      要：采用电推力器实现自主轨道转移是全电推进卫星领域的关键技术之一。针对地球同步轨道(geostationary orbit,GEO)全电推进卫星的轨道提升问题,将广义优势估计(generalized advantage estimator,GAE)和近端策略优化(proximal policy optimization,PPO)方法相结合,在考虑多种轨道摄动影响以及地球阴影约束的情况下,提出了基于强化学习的时间最优小推力变轨策略优化方法。针对状态空间过大、奖励稀疏导致训练困难这一关键问题,提出了动作输出映射和分层奖励等训练加速方法,有效提升了训练效率,加快了收敛速度。数值仿真和结果对比表明,所提方法更加简单、灵活、高效,与传统的直接法、间接法以及反馈控制法相比,能够保证轨道转移时间的最优性。