基于深度强化学习的交通控制优化方法研究及实现

作     者：赖建辉 

作者单位：浙江工业大学 

学位级别：硕士

导师姓名：沈国江

授予年度：2020年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0838[工学-公安技术] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：智能交通 单路口交通信号控制 多路口交通信号控制 深度强化学习 

摘      要：随着我国经济迅速发展和人民生活水平的不断提升,城市机动车保有量迅速增长,交通拥挤已成为现代城市的日益明显的通病。交叉口作为车辆与行人汇集、转向和疏散的必经之地,是城市通行能力的瓶颈,也是交通信号控制的主要管理对象。传统的基于模型的交通信号控制方法在面对复杂时变的交通流时,作出的信号控制决策往往缺乏实时性,同时其采用的交通参数也很难全面反映当前的城市交通状态。随着大数据和人工智能等新一代高新技术的发展,新的模型和方法不断涌现,并已在实际的交通控制应用中取得了明显的效果。本文主要讨论基于深度强化学习的交通控制优化方法。以城市孤立交叉口和多交叉口群为研究对象,利用深度学习和强化学习方法,提出了一套面向实际应用的交通信号控制方法,并基于某公司的交通算法通用平台,对算法模块进行了软件实现。基于实测交通数据的仿真研究结果表明,本文提出的方法可有效地提高信号控制效果。本文的主要工作如下:1.提出了基于深度强化学习的单路口信号控制方法。采用二维矩阵的形式对路口的交通状态进行了转换,通过深度学习对交通状态特征进行高层抽象表征,实现了对交通状态的精确感知。在此基础上,利用强化学习来实现自适应交通信号控制策略,在时变交通流环境下有效地降低了单路口中的车辆排队长度。2.提出了基于深度强化学习的多路口信号控制方法。在单路口信号控制方法的基础上,将深度强化学习扩展至交叉口群的信号控制中。针对交叉口群的交通特点和控制需求,设计了强化学习中的状态空间、动作空间及奖励值函数,提出了一种信号控制优化方法,使其适用于多路口信号控制场景,提高交叉口群内的车辆平均速度并减少交叉口群内的排队车辆数。3.根据本文的主要研究成果,实现了一个智能算法模块。以某公司的交通算法通用平台为基础,通过对算法平台的结构分析,并结合本文提出的信号控制方法,对算法平台中的智能算法模块进行了设计及实现。最后,对本文的研究内容进行总结,并提出研究中存在的不足之处以及对未来工作的展望。