基于深度强化学习的卫星动态任务实时调度时效性优化方法

作     者：李可 熊顺蕊 戴朋林 宋彤雨 禹旭敏 李天瑞 

作者机构：西南交通大学计算机与人工智能学院 可持续城市交通智能化教育部工程研究中心 四川省网络通信技术重点实验室 之江实验室 中国航天科技集团第五研究院卫星与导航卫星总体部 

出 版 物：《中国科学:信息科学》 (Scientia Sinica(Informationis))

年 卷 期：2024年第54卷第10期

页      面：2443-2469页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 082503[工学-航空宇航制造工程] 0835[工学-软件工程] 0825[工学-航空宇航科学与技术] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(批准号:62202392,62172342,62002300,61941106) 四川省网络与数据安全重点实验室项目(批准号:NDS2022-1) 四川自然科学基金(批准号:2023NSFSC0459,2022NSFSC0944) 河北省自然科学基金(批准号:F2022105003)资助项目 

主　　题：时效性优化 卫星任务调度 动态任务实时调度 深度强化学习 任务观测时效性 启发式规则 

摘      要：随着全球卫星数量的快速增长和天基网络的蓬勃发展,优化卫星任务调度以确保任务观测时效性变得至关重要.任务调度方法不仅影响观测数据采集的效率,还直接关系到天基信息系统能否及时响应多种实时应用需求.然而,针对非周期动态任务,传统批处理调度方法存在局限性,需收集完所有任务信息后才能作出决策,而现有基于深度强化学习的实时调度方法也无法保证紧急任务的观测时效性.鉴于此,本文首次提出了“时效性优化的敏捷卫星动态任务实时调度问题,该问题定义任务观测时效性指标,综合考虑任务观测延迟和接收任务的总收益,以最大化所有任务观测时效性.为了求解该问题,设计了两阶段时效性优化算法PPODL-HR.在任务选择阶段,提出了基于深度神经网络和长短期记忆网络的近端策略优化以加快模型的收敛速度;在资源分配阶段,设计了启发式规则,通过任务合并进一步降低任务切换所需的卫星转换时间.通过数值仿真和STK仿真验证, PPODL-HR算法在任务观测时效性方面优于传统的静态批处理调度和现有的动态任务实时调度算法,且适用于不同任务密度和不同紧急性任务占比的情况.特别地,与经典的动态任务实时调度算法相比,任务观测时效性提高了21.14%,任务观测延迟降低了4.55%,接收任务的总收益增加了20.70%.