基于联邦深度强化学习的车联网资源分配

作     者：王晓昌 吴璠 孙彦赞 吴雅婷 Wang Xiaochang;Wu Fan;Sun Yanzan;Wu Yating

作者机构：上海大学上海先进通信与数据科学研究院上海200444 上海大学特种光纤与光接入网重点实验室上海200444 上海大学特种光纤与先进通信国际合作联合实验室上海200444 上海大学经济学院上海200444 

出 版 物：《电子测量技术》 (Electronic Measurement Technology)

年 卷 期：2021年第44卷第10期

页      面：114-120页

学科分类：080904[工学-电磁场与微波技术] 0810[工学-信息与通信工程] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 081001[工学-通信与信息系统] 

基　　金：国家重点研发计划(2019YFE0196600) 国家自然科学基金(61501289,61671011,61420106011,61701293)项目资助 

主　　题：车辆通信 深度强化学习 资源分配 联邦学习 

摘      要：车辆通信(V2X)能够有效地提高交通安全性和移动性,是车辆部署场景中的关键技术之一。V2X通信链路需要满足不同应用的服务质量(QoS)要求,如车对车(V2V)链路的延迟和可靠性要求。面向车辆高速移动性导致的无线信道快速变化,为保证不同车辆链路的QoS约束和车辆动态网络的鲁棒性,提出一种基于联邦深度强化学习(FDRL)的频谱分配和功率控制联合优化框架。框架首先根据不同车辆链路需求提出了对应的优化问题,并定义了强化学习的状态空间、动作空间和奖励函数;然后介绍了联邦深度强化学习的训练框架;最后,通过分布式的车辆端强化学习和基站聚合平均训练,找到最佳的频谱分配和功率控制策略。仿真结果表明,与其他对比算法相比,所提出算法能够提高车对基站(V2I)的总用户信道容量,并保证了新加入车辆时动态网络的鲁棒性。