边端协同场景下的深度强化学习任务卸载方法

作     者：李英豪 刘盼盼 王文猛 刘晓亮 韩志勇 刘成明 

作者机构：郑州大学网络空间安全学院 天筑科技股份有限公司 

出 版 物：《小型微型计算机系统》 (Journal of Chinese Computer Systems)

年 卷 期：2024年

学科分类：12[管理学] 080904[工学-电磁场与微波技术] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 0810[工学-信息与通信工程] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 0835[工学-软件工程] 081001[工学-通信与信息系统] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划(No.2020YFB1712401)资助 

主　　题：移动边缘计算 任务卸载 多智能体 优先经验回放 

摘      要：针对现有部分任务卸载方法未考虑排队时延及训练过程采样效率低等问题，提出了一种基于多智能体深度强化学习的任务卸载方法。首先，综合考虑任务量、服务资源、队列的负载情况等因素建立面向时延和能耗联合优化的边端协同卸载模型，其次，将该模型表述为马尔可夫决策过程，目标为最小化系统的总成本。然后引入优先经验回放机制和重要性采样对多智能体深度确定性策略梯度算法进行改进，利用长期环境信息高效探索任务卸载的最优解决方案。最后，将本文算法与基于MADDPG、D3QN、DQN和随机卸载算法的性能进行了比较，仿真结果表明，所提出的算法在各项指标上表现更优。