毫米波通信中基于强化学习的自适应波束跟踪与对准算法研究

作     者：陆昀程 

作者单位：东南大学 

学位级别：硕士

导师姓名：俞菲

授予年度：2022年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0811[工学-控制科学与工程] 

主      题：移动通信 波束赋形 深度强化学习 波束跟踪 波束漂移 

摘      要：伴随着第五代移动通信系统（5G）的全面商用和逐渐普及，作为5G关键技术的毫米波通信也得到了迅速而持续性的发展。毫米波拥有丰富频谱资源的同时也存在如自由路径损耗严重、绕射能力差等明显缺点，但其较短的波长则给大规模阵列天线的应用提供了机会，而阵列天线的应用可以大大提高定向阵列增益从而对抗路径损耗，这便引出了5G中的另一项关键技术——波束赋形。本文对毫米波通信系统中的智能波束管理进行研究，针对动态环境中的波束对准问题，提出了智能波束跟踪算法。论文考虑了波束漂移问题，在理论模型与性能分析的基础上提出了波束宽度自适应算法进一步提高系统通信性能。本文的主要内容如下： 1.研究了毫米波系统中的多天线技术主要涉及波束赋形和预编码理论，并明确三种预编码架构的特点。讨论了智能波束管理流程包括波束建立、波束测量上报和波束恢复等机制。作为智能波束跟踪算法的理论基础，给出深度强化学习理论，对如何构建强化学习模型和经典强化学习算法进行介绍，为后文研究提供理论指导。 2.设计完成了智能波束对准与跟踪方案。基于室内大会议室场景，搭建模拟真实的通信环境和系统模型，基站处天线采用均匀平面阵列（UniformPlanarArray,UPA），引入等效信道思想，采用二维DFT码本并通过波束扫描程序获得等效的信道状态信息（ChannelStateInformation,CSI）。针对波束对准与跟踪引入强化学习，将问题建模为一个马尔科夫决策过程（MarkovDecisionProcess,MDP），采用经典深度Q网络（DeepQNetwork,DQN）算法进行每个时刻的决策。具体设计包括：对状态空间、动作空间的创新性设计;引入优先经验回放机制快速筛选出DQN经验池中的高优经验;提出双Q网络以解决网络训练过程中的高估和自举问题，从而提高神经网络的训练效率并加快网络收敛速度;提出了集中训练分布执行架构，解决了状态和动作空间爆炸问题。最后经过仿真验证，所提出的分布式自适应波束跟踪算法能够较好的感知动态环境并根据环境变化适时的调整波束选择策略并维持很高的波束对准成功率，具有相当高的稳定性和优越性。 3.对波束漂移效应进行理论分析和数学建模，并提出了一种抑制毫米波通信系统中波束漂移效应的基于策略学习的自适应波束宽度调制算法。首先针对波束跟踪问题中每个时隙内出现出发角（AngleofDeparture,AoD）或到达角（AngleofArrival,AoA）偏离在每个时隙开始阶段对齐的波束中心角这个问题，引出波束漂移效应，并证明其会导致实际波束成形增益严重降低。在简化系统模型的情况下对波束漂移效应进行数学建构，并对波束漂移效应对系统性能的影响进行分析，给出了可以通过动态调整数据传输时的波束宽度来抑制波束漂移效应不利影响的结论。接着在波束跟踪算法的基础上提出波束训练和数据传输联合设计方案，数据传输模块进行波束宽度的自适应调整，不同波束宽度通过多分辨率码本实现。引入策略学习进行建模，以马尔科夫决策过程为基础，选用异步优势动作评价（AsynchronousAdvantageActor-Critic,A3C）算法，对状态动作奖励等参数进行合理高效的设计，并加入诸多改进。最后通过与已有算法的比较仿真，证明提出的算法能够有效感知环境变化速率，并自适应地调整数据传输波束的宽度，保证在整个通信过程中均能获得较高的通信链路质量。