结合深度强化学习的边缘计算网络服务功能链时延优化部署方法

作     者：孙春霞 杨丽 王小鹏 龙良 SUN Chunxia;YANG Li;WANG Xiaopeng;LONG Liang

作者机构：兰州交通大学电子与信息工程学院兰州730070 

出 版 物：《电子与信息学报》 (Journal of Electronics & Information Technology)

年 卷 期：2024年第46卷第4期

页      面：1363-1372页

核心收录：

学科分类：080904[工学-电磁场与微波技术] 12[管理学] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 0710[理学-生物学] 0711[理学-系统科学] 0810[工学-信息与通信工程] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 081001[工学-通信与信息系统] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：甘肃省高校产业支撑计划(2023CYZC-40) 甘肃省优秀研究生“创新之星”项目(2023CXZX-546) 

主　　题：服务功能链部署 深度强化学习 边缘网络 端到端时延 

摘      要：该文针对边缘网络资源受限且对业务流端到端时延容忍度低的问题,结合深度强化学习与基于时延的Dijkstra寻路算法提出一种面向时延优化的服务功能链(SFC)部署方法。首先,设计一种基于注意力机制的序列到序列(Seq2Seq)代理网络和基于时延的Dijkstra寻路算法,用于产生虚拟网络功能(VNF)的部署以及服务SFC的链路映射,同时考虑了时延优化模型的约束问题,采用拉格朗日松弛技术将其纳入强化学习目标函数中;其次,为了辅助网络代理快速收敛,采用基线评估器网络评估部署策略的预期奖励值;最后,在测试阶段,通过贪婪搜索及抽样技术降低网络收敛到局部最优的概率,从而改进模型的部署。对比实验表明,该方法在网络资源受限的情况下,比First-Fit算法与TabuSearch算法的时延分别降低了约10%和86.3%,且较这两种算法稳定约74.2%与84.4%。该方法能较稳定地提供更低时延的端到端服务,使时延敏感类业务获得更好体验。