移动无线接入网中基于深度强化学习的虚拟功能组件伸缩优化

作     者：欧阳文江 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：靳浩

授予年度：2022年

学科分类：080904[工学-电磁场与微波技术] 12[管理学] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 0810[工学-信息与通信工程] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 081001[工学-通信与信息系统] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：网络功能虚拟化 深度强化学习 LSTM 分层强化学习 H-DQN 

摘      要：网络功能虚拟化技术能够降低电信服务提供商为给定服务的每个功能部署物理专用设备的成本。由于服务链的复杂性和流量模式的动态变化,使得虚拟网络功能组件的伸缩优化问题成为网络功能虚拟化研究的主要挑战之一。采用强化学习可以有效地解决优化问题,因此,采用强化学习的虚拟网络功能组件伸缩优化研究成为业界的研究热点。深度强化学习通过函数近似的方式拟合智能体的动作值函数,可以解决智能体的状态和动作空间过大的问题。分层强化学习通过将任务进行分解,可以让智能体进行更结构化的探索。本文基于深度强化学习方法,针对面向移动无线接入网中的虚拟功能组件自动伸缩优化问题进行了研究,论文所做的主要研究工作和创新点包括以下方面:1.针对基于分层深度强化学习的虚拟功能组件伸缩优化关键技术进行了研究,分析了虚拟功能组件自动伸缩优化的研究进展。2.将虚拟功能组件的伸缩优化问题建模为一个以服务请求在虚拟网络功能(VNF)排队系统的平均等待时间、平均队长和VNF实例成本加权之和最小为优化目标的优化问题。考虑到组件的服务请求到达流量和拥塞引起的服务质量劣化问题,针对服务请求到达流量进行检测,提出了一种结合长短期神经网络(LSTM)、深度强化学习和选项(Option)的虚拟功能组件自动伸缩优化算法(VFC-AS-DLO),针对所提算法的性能进行了仿真评估,验证了所提算法的有效性。3.针对目前研究成果采用贪心策略导致智能体的动作空间搜索过大的问题,基于分层深度强化学习,提出了一种基于分层深度Q网络(H-DQN)的虚拟功能组件伸缩优化算法(VFC-AS-HDQN),仿真评估了所提算法的性能,与深度Q网络(DQN)算法相比,所提VFC-AS-HDQN算法在系统效用方面具有更好的性能。