基于改进型TD3算法的车载边缘计算任务卸载决策

作     者：李亚 王卫岗 张原 刘瑞鹏 Li Ya;Wang Weigang;Zhang Yuan;Liu Ruipeng

作者机构：河南理工大学物理与电子信息学院焦作454000 

出 版 物：《电子测量技术》 (Electronic Measurement Technology)

年 卷 期：2024年第47卷第6期

页      面：64-70页

学科分类：080904[工学-电磁场与微波技术] 0810[工学-信息与通信工程] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 081001[工学-通信与信息系统] 

基　　金：中层大气和全球环境探测重点实验室开放课题(LAGEO-2022-02)项目资助 

主　　题：车载边缘计算 TD3算法 任务卸载 深度强化学习 马尔可夫决策过程 

摘      要：为满足复杂车辆任务在时延、能耗和计算性能方面的要求,同时减少网络资源的竞争和消耗,设计了一种基于车载边缘计算(VEC)的任务卸载策略,以最小化任务处理延迟和能源消耗之间平衡的长期成本为目标,将车联网中的任务卸载问题建模为马尔可夫决策过程(MDP),提出了在传统双延时深度确定性策略梯度(TD3)的基础上,利用长短期记忆网络(LSTM)来逼近策略函数和价值函数,将系统状态进行归一化处理以加速网络收敛并增强训练稳定性的改进算法(LN-TD3)。仿真结果表明,LN-TD3性能与全部本地计算和全部卸载计算相比提高了两倍以上;收敛速度上与深度确定性策略梯度DDPG、TD3相比提高了约20%。