强化学习及其在Femtocell网络干扰管理中的应用

作     者：祁昊 

作者单位：南京大学 

学位级别：硕士

导师姓名：陈春林

授予年度：2017年

学科分类：080904[工学-电磁场与微波技术] 0810[工学-信息与通信工程] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 081001[工学-通信与信息系统] 

主      题：强化学习 Femtocell双层网络 干扰管理 回报函数 专家系统 

摘      要：随着移动互联网的逐步发展以及大数据时代的出现,当下的传统蜂窝网络已然达不到越发增长的数据量的需求,而以Femtocell基站为典型的小型基站不但能够提供良好的通信服务水平,同时还能够有效提升室内的网络覆盖率。但是,Femtocell基站的引入所造成的干扰在对Macrocell用户的通讯服务质量产生影响的同时,也对基站的多方位部署产生了一定的影响。因此对于Femtocell网络干扰管理问题的研究刻不容缓。本文主要探讨强化学习及其在Femtocell网络干扰管理问题中的应用。强化学习作为机器学习中的一个非常活跃的研究领域,对于解决在动态环境中探索出最优的决策问题具有很大的优势,近些年来尤其是2010年之后逐渐成为了Femtocell网络干扰管理问题的一个十分热门的研究方向。由于回报函数从本质上决定着系统学习的目标,因此它的选择至关重要。在此前对于将强化学习应用于Femtocell干扰管理问题中的研究中,其设计的回报函数完全没有考虑Femtocell基站与Macrocell用户之间的距离因素,因此,尽管不同位置的Femtocell基站对Macrocell用户的系统容量的影响大小不同,但所有的Femtocell基站却都以完全相同的方式去学习,其性能必然受到了 一定的限制。本文提出了一个全新的回报函数,该回报函数将基站与用户之间的位置关系考虑了进去,并根据这一全新的回报函数提出了基于改进回报函数的分布式Q学习干扰管理算法。通过在三种位置关系下进行仿真实验对比,本文提出的改进的回报函数相比于改进前能够在很好的保证Macrocell用户的通信服务质量的同时极大的提高整个网络的系统容量。针对传统的强化学习算法收敛过慢的问题,本文结合Femtocell基站的特性,引入了专家系统(Docition)概念,即对于新加入网络的Femtocell基站,它们不需要完全通过自己的学习去获取经验,而可以通过与已经具有学习经验的专家基站互相交换经验信息以使得整个学习过程得以改善。在此基础上,本文改进了之前算法中的状态空间框架并提出了基于专家系统的教学式Q学习干扰管理算法。仿真实验表明,基于专家系统的教学式Q学习干扰管理算法能够有效地提升算法收敛的速度。