基于隐式分位数网络的车联网任务卸载策略

作     者：王聪 刘帅 左明敏 

作者机构：东北大学秦皇岛分校计算机与通信工程学院 东北大学计算机与通信工程学院 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2024年

学科分类：08[工学] 0838[工学-公安技术] 

基　　金：河北省自然科学基金(F2022501025) 

主　　题：车联网 边缘计算 任务卸载 深度强化学习 

摘      要：随着物联网和无线技术的迅猛发展，车辆面临着前所未有的计算资源需求挑战。为了应对这些挑战，本文研究了在车联网边缘计算（Vehicular Edge Computing， VEC）场景中的任务卸载问题，提出了一种基于隐式分位数网络（Implicit Quantile Network， IQN）的动态任务卸载策略。本文首先对车联网边缘计算系统进行了建模，将任务卸载决策问题构建为一个马尔科夫决策过程（Markov Decision Process， MDP）。在此基础上，本文引入了一种融合时间优先和噪声增强策略的双分位数强化学习算法，以实现更加精准的任务卸载。该算法利用IQN对值函数的完整概率分布进行估计，进而实现了对回报分布的连续参数化估计，这有效提升了预测和决策的准确性。同时，算法整合了时序优先经验回放机制和噪声网络，前者优先重放对学习更有价值的经验，后者通过引入随机性增强了探索效率。实验结果表明，与传统算法相比，该算法能够显著降低整体任务的完成时延，同时提升任务卸载决策的准确性和系统资源的利用率。本文的研究表明，通过引入隐式分位数网络和双分位数强化学习算法，可以在动态且复杂的车联网环境中实现高效的任务卸载。