运营商网络中基于深度强化学习的服务功能链迁移机制

作     者：陈卓 冯钢 何颖 周杨 CHEN Zhuo;FENG Gang;HE Ying;ZHOU Yang

作者机构：重庆理工大学计算机科学与工程学院重庆200433 电子科技大学通信抗干扰技术国家级重点实验室成都710077 奥本大学计算机科学与软件工程学院美国阿拉巴马州奥本市36849 

出 版 物：《电子与信息学报》 (Journal of Electronics & Information Technology)

年 卷 期：2020年第42卷第9期

页      面：2173-2179页

核心收录：

学科分类：0810[工学-信息与通信工程] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081001[工学-通信与信息系统] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61471089 61401076) 

主　　题：运营商网络 迁移机制 深度强化学习 服务功能链 

摘      要：为改善运营商网络提供的移动服务体验,该文研究服务功能链(SFC)的在线迁移问题。首先基于马尔可夫决策过程(MDP)对服务功能链中的多个虚拟网络功能(VNF)在运营商网络中的驻留位置迁移进行模型化分析。通过将强化学习和深度神经网络相结合提出一种基于双深度Q网络(double DQN)的服务功能链迁移机制,该迁移方法能在连续时间下进行服务功能链的在线迁移决策并避免求解过程中的过度估计。实验结果表明,该文所提出的策略相比于固定部署算法和贪心算法在端到端时延和网络系统收益等方面优势明显,有助于运营商改善服务体验和资源的使用效率。