基于迁移深度强化学习的低轨卫星跳波束资源分配方案

作     者：陈前斌 麻世庆 段瑞吉 唐伦 梁承超 CHEN Qianbin;MA Shiqing;DUAN Ruiji;TANG Lun;LIANG Chengchao

作者机构：重庆邮电大学通信与信息工程学院重庆400065 

出 版 物：《电子与信息学报》 (Journal of Electronics & Information Technology)

年 卷 期：2023年第45卷第2期

页      面：407-417页

核心收录：

学科分类：0710[理学-生物学] 08[工学] 0708[理学-地球物理学] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0816[工学-测绘科学与技术] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(62071078,62001076) 重庆市教委科学技术研究项目(KJZD-M201800601,KJQN-201900645)。 

主　　题：低轨卫星网络 跳波束 资源分配 深度强化学习 迁移学习 

摘      要：针对低轨(LEO)卫星场景下,传统资源分配方案容易造成特定小区资源分配无法满足需求的问题,该文提出一种基于迁移深度强化学习(TDRL)的低轨卫星跳波束资源分配方案。首先,该方案联合星上缓冲信息、业务到达情况和信道状态,以最小化卫星上数据包平均时延为目标,建立支持跳波束技术的低轨卫星资源分配优化模型。其次,针对低轨卫星网络的动态多变性,该文考虑动态随机变化的通信资源和通信需求,采用深度Q网络(DQN)算法利用神经网络作为非线性近似函数。进一步,为实现并加速深度强化学习(DRL)算法在其他目标任务中的收敛过程,该文引入迁移学习(TL)概念,利用源卫星学习的调度任务快速寻找目标卫星的波束调度和功率分配策略。仿真结果表明,该文所提出的算法能够优化卫星服务过程中的时隙分配,减少数据包的平均传输时延,并有效提高系统的吞吐量和资源利用效率。