基于多目标深度强化学习的多波束卫星动态波束调度算法研究

作     者：张雨晨 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：王卫东

授予年度：2020年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0811[工学-控制科学与工程] 

主      题：多波束卫星 动态波束调度 差异化业务 多目标深度强化学习 时分动作选择 

摘      要：卫星通信系统具备广泛的覆盖范围和强大的通信能力,作为补充地面移动通信系统不足的通信技术而受到广泛的关注。在考虑差异化服务的固有不确定性以及容量请求的非均匀空间分布时,必须灵活调整卫星资源以满足不同的需求。其中,多波束卫星通过调度多个高增益的窄波束实现覆盖更大区域的目的,能有效降低卫星的有效负载并提高卫星系统性能,在提高通信质量和数据传输速率方面起着至关重要的作用,因此受到研究人员的广泛关注。如何将系统容量需求与波束的有效利用相匹配是一项全新的挑战。常规波束调度方法忽略了决策之间的内在相关性,不考虑长期回报,仅能在当前时间获得最优解。另外,随着对差异化业务分类需求和波束数量的增加,系统计算复杂性显着增加。为了应对这些挑战,本文研究了 DVB-S2X多波束卫星波束调度的最优策略,对以下两个问题进行了深入研究。第一,传统的动态波束调度算法仅考虑当前时刻的最优解,忽略了波束调度的内在关联,强化学习满足序贯决策的特征,能够满足卫星场景动态未知的条件。研究室已提出基于深度强化学习的动态波束调度算法,但仅考虑了单业务的时延优化。无线信道条件下,针对高通量通信卫星中差异化业务需求随机性带来的非全局优化问题,提出了一种基于多目标深度强化学习的动态波束调度算法,可实现不同业务类型QoS不同的场景下,协同优化多个目标。在DVB-S2X卫星条件下仿真获得评估结果表明,本文提出的算法能够实现智能地分配资源以适应用户需求和信道条件,与现有算法相比,所提出的的算法能在业务到达率极不平衡的条件下,实现小区之间时延的公平性,并能保证实时业务平均传输时延最小及非实时业务传输的吞吐量最大。第二,传统深度Q学习网络通常面临动作空间大的问题,研究室已提出的算法中,动作选择的方式仅能选择次优解。针对卫星波束调度过程存在的波束选择维度灾难难题,提出了一种基于双环学习的时分多动作选择方法,可实现多波束的动态选择以满足用户需求。通过理论计算,该方法在大规模波束场景下,降低了计算复杂度。