基于Double DQN的双模式多目标信号配时方法

作     者：聂雷 张明萱 黄庆涵 鲍海洲 NIE Lei;ZHANG Ming-xuan;HUANG Qing-han;BAO Hai-zhou

作者机构：武汉科技大学计算机科学与技术学院湖北武汉430065 智能信息处理与实时工业系统湖北省重点实验室湖北武汉430065 

出 版 物：《计算机技术与发展》 (Computer Technology and Development)

年 卷 期：2024年第34卷第8期

页      面：143-150页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61802286) 湖北省教育厅科学研究计划青年项目(Q20221108) 武汉科技大学智能信息处理与实时工业系统湖北省重点实验室基金(ZNXX2022009) 

主　　题：交通信号配时 深度强化学习 双模式多目标 Double DQN SUMO 

摘      要：近年来深度强化学习作为一种高效可靠的机器学习方法被广泛应用在交通信号控制领域。目前,现有交通信号配时方法通常忽略了特殊车辆(例如救护车、消防车等)的优先通行;此外,基于传统深度强化学习的信号配时方法优化目标较为单一,导致其在复杂交通场景中性能不佳。针对上述问题,基于Double DQN提出一种融合特殊车辆优先通行的双模式多目标信号配时方法(Dual-mode Multi-objective signal timing method based on Double DQN,DMDD),以提高不同交通场景下路口的通行效率。该方法首先基于路口的饱和状态选择信号控制模式,特殊车辆在紧急控制模式下被赋予更高的通行权重,有利于其更快通过路口;接着针对等待时长、队列长度和CO 2排放量3个指标分别设计神经网络进行奖励计算;最后利用Double DQN进行最优信号相位的选择,通过灵活切换信号相位以提升通行效率。基于SUMO的实验结果表明,DMDD与对比方法相比能有效缩短路口处特殊车辆的等待时长、队列长度和CO 2排放量,特殊车辆能够更快通过路口,有效地提高了通行效率。