基于跳波束的低轨卫星资源分配策略研究

作     者：麻世庆 

作者单位：重庆邮电大学 

学位级别：硕士

导师姓名：陈前斌

授予年度：2022年

学科分类：08[工学] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 

主      题：低轨卫星通信系统 跳波束 资源分配 深度强化学习 

摘      要：低轨道(Low Earth Orbit,LEO)卫星通信系统是近年来应用多波束天线技术的热门卫星系统之一,也是未来空天地一体化的优化发展方向。但是LEO卫星通信系统也是典型的资源受限系统,星上有效载荷以及频谱资源有限是限制发展的关键因素。跳波束(Beam Hopping,BH)通过相控阵技术控制星载波束的空间指向,并灵活分配通信资源,在卫星研究领域中获得广泛的关注。本文重点研究了LEO卫星通信系统中跳波束的资源分配问题,论文的主要研究工作和创新点总结如下:1.针对LEO卫星通信场景下,传统均匀或按需资源分配方案无法匹配LEO网络动态资源需求的问题,提出一种基于迁移深度强化学习(Transfer Deep Reinforcement Learning,TDRL)的LEO卫星BH资源分配方案。首先,该方案联合星上缓冲信息、业务到达情况和信道状态信息(Channel State Information,CSI),建立支持BH技术的LEO卫星资源分配优化模型。其次,考虑动态随机变化的通信资源和通信需求,采用深度Q网络(Deep Q Network,DQN)算法利用神经网络作为非线性近似函数。进一步地,引入迁移学习(Transfer Learning,TL)概念,实现并加速DRL算法在其他目标任务中的收敛过程。仿真结果表明,所提出的算法能够优化卫星服务过程中的时隙分配,减少数据包的平均传输时延。2.针对当前LEO卫星BH的资源分配没有考虑结果对地面系统的干扰,且目前星地融合场景下的资源分配严重缺乏灵活性的问题,提出了一种基于星地融合架构下LEO卫星网络BH方案。首先,建立了一个最大化卫星用户业务处理公平性的随机优化问题,并将高耦合问题解耦为波束级和用户级资源分配两个子问题。其次,在波束级资源分配中,考虑到环境状态的动态变化以及卫星用户数增加导致的状态和行为空间激增,并有效增加卫星间的协作交互,基于多智能体架构强化学习(Multi-agent Reinforcement Learning,MARL)算法提出一个联合波束调度和功率分配的优化算法。再者,在用户级资源分配中,设计联合用户功率和子载波分配的优化算法,并通过凸优化理论将原优化问题凸性化,从而简化子问题的复杂程度。仿真结果表明,该算法既能保证用户公平性,又能提高系统资源利用率。