基于多智能体强化学习自动合流控制方法研究

作     者：李春 吴志周 许宏鑫 梁韵逸 LI Chun;WU Zhizhou;XU Hongxin;LIANG Yunyi

作者机构：新疆大学智能制造现代产业学院乌鲁木齐830017 新疆大学交通运输工程学院乌鲁木齐830017 新疆大学新疆交通基础设施绿色建养与智慧交通管控重点实验室乌鲁木齐830017 慕尼黑工业大学工程与设计学院德国慕尼黑80333 

出 版 物：《计算机工程与应用》 (Computer Engineering and Applications)

年 卷 期：2024年第60卷第23期

页      面：349-356页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(52002281) 湖南省自然科学基金(2023JJ40731) 

主　　题：强化学习 合流区 自动驾驶 多智能体 

摘      要：对于智能网联车辆(connected automated vehicle,CAV)来说,上匝道合并是一项具备挑战性的任务,考虑到未来一段时间内有CAV和人工驾驶车辆(human-drive vehicle,HAV)的混合交通将存在于更多的交通场景中。根据合流区交通特性,将多车协同汇入表示为马尔可夫决策过程,建立了同时考虑车辆安全和效率的奖励函数。基于分布式多智能体强化学习(muti-agent reinforcement learning,MARL)框架提出中心式训练分散式执行的改进框架(centralized training and decentralized execution,CTDE)的MARL算法框架,节省了单智能体上的计算资源。建立基于两种框架的优势动作评论家(advantage actor critic,A2C)和近端策略优化(proximal policy optimization,PPO)两种控制算法。仿真实验结果表明,所建立的改进算法的整体性能优于原算法,提升了车辆平均行驶速度,满足最小车头时距同时降低了碰撞率和汇入等待时长,满足了合流区车辆的通行安全和提高了通行效率。