基于深度强化学习的多小区OFDMA系统资源分配方法研究

作     者：胡静 

作者单位：南京邮电大学 

学位级别：硕士

导师姓名：潘沛生

授予年度：2022年

学科分类：080904[工学-电磁场与微波技术] 12[管理学] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 0810[工学-信息与通信工程] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 081001[工学-通信与信息系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：多智能体深度强化学习 多小区 正交频分多址接入 资源分配 

摘      要：正交频分多址接入(Orthogonal Frequency Division Multiple Access,OFDMA)通过将可用带宽划分成一系列互相正交的子载波集合,可以动态地为接入的用户分配带宽资源,从而优化整个系统的资源利用率和数据传输速率。本文面向第五代移动通信技术(The 5th Generation Mobile Communication Technology,5G)的不同应用场景,考虑通信系统的数据传输速率、用户公平性以及用户服务质量,基于多智能体深度强化学习算法,对多小区OFDMA系统的资源分配方法展开了研究。本文主要工作如下:第一,研究了下行多小区单业务OFDMA系统中,以传输速率为目标的子信道分配和功率分配问题。针对传统优化方法在解决此类复杂问题时面临的求解困难、系统模型复杂和计算开销较大等问题,提出了一种集中训练分布执行的多智能体深度强化学习资源分配方法。各智能体根据相应小区的信道状态信息,首先计算出每个小区的子信道分配方案,再接着得到各小区所有用户的功率分配方案,最后基于系统反馈的奖励信息更新资源分配方案。仿真表明,多智能体深度强化学习算法可以有效提高系统的传输速率。第二,研究了一种基于决策驱动机制的多智能体深度强化学习优化算法,用来解决下行多小区OFDMA系统中,增强移动宽带(Enhanced Mobile Broadband,e MBB)和超高可靠低时延通信(Ultra-Reliable and Low Latency Communications,URLLC)业务共存下的复杂资源分配问题。该方法通过对多小区系统的信道状态信息进行监测,仅在有需要的时候执行多智能体深度强化学习过程,从而节约计算开销和计算时间。仿真表明,这种基于决策驱动机制的优化方法可以在保证e MBB和URLLC用户服务满意度水平的同时,减少不必要的学习次数,从而优化资源分配方法的效率。