一种采用联邦深度强化学习的车联网资源分配方法

作     者：王辛果 王昶 WANG Xinguo;WANG Chang

作者机构：成都信息工程大学计算机学院成都610225 

出 版 物：《电讯技术》 (Telecommunication Engineering)

年 卷 期：2024年第64卷第7期

页      面：1065-1071页

学科分类：0810[工学-信息与通信工程] 08[工学] 081001[工学-通信与信息系统] 

主　　题：车联网通信 信道资源分配 联邦学习 深度强化学习 

摘      要：在车联网中,为了充分利用可用资源,车到车(Vehicle to Vehicle,V2V)链路需要动态地复用固定分配给车到基础设施(Vehicle to Infrastructure,V2I)链路的信道。传统的集中式信道资源分配方法会产生较大的通信开销,也难以适应转瞬即逝的车辆环境。为此,提出了一种基于分布式联邦深度强化学习(Federated Deep Reinforcement Learning,FDRL)的信道资源分配方法。首先,所有V2V智能体基于局部观察的环境信息独立地训练自己的模型,但彼此间保持相同的奖励以激励它们相互协作进而达成全局最优方案;然后,这些V2V智能体通过基站的帮助聚合部分模型参数,以增加接入公平性并加快模型学习效率。通过上述两阶段的迭代训练,每个V2V智能体训练出独特的决斗深度神经网络信道接入决策模型。仿真结果表明,所提出的FDRL方法与现有的优化方法相比具有更高的V2I链路总容量和V2V链路传输成功率。