基于DQN的干线路口解耦及信号控制模型研究
作者单位：北方工业大学
学位级别：硕士
导师姓名：谭墍元;苏岳龙
授予年度：2024年
主 题：DQN信号优化模型 解耦控制 信息共享机制 多智能体系统
摘 要：近期,越来越多的研究开始将人工智能技术应用到交通环境的信号优化中,尤其是深度强化学习(DRL)方法的成功应用,改善了传统信号控制方法不能周期内灵活调控的问题。从单路口的强化学习到多路口的多智能体强化学习,强化学习方法在信号优化领域中的应用越来越深入,也越来越复杂,这表明当前强化学习方法在该领域仍有较好的发展前景。 然而将人工智能技术在实际交通环境中进行应用时,仍面临不小的挑战。因此本论文将研究一种解耦模型,在保证模型控制效果的同时实现模型复杂度不升高,为模型后续落地应用打下基础。基于此,本论文的研究内容主要解决这两个问题:一是如何解决模型复杂度较高而造成的与城市交叉口现场资源不匹配的适用性问题,使模型在保证一定控制效果的基础上,能够通过解耦控制方式降低模型复杂度并进一步推广使用;二是在不同信息共享机制下如何调整模型的主要参数以实现最佳性能。因此,本研究主要关注以下方面: (1)在众多研究中,信号优化模型注重复杂神经网络的设计,模型复杂度不断提高,从而对城市交叉口环境的现场资源配置产生了更高的要求,而模型复杂度高带来的资源配置问题往往无法得到及时解决。为了解决模型复杂度高的问题,本研究以降低模型复杂度,获得一个模型解耦控制方法为目标,通过划分多个独立子区,来进行信号优化模型的解耦方法研究。首先引入了交通流量离散度对相邻路口关联度的基本计算进行优化,然后提出以模块度为准则,通过Louvain算法对被控区域进行划分的方法,并以独立式模型为背景,完成信号优化模型的解耦框架搭建。最后将上述解耦模型进行测试验证,并与集中式和独立式模型对比分析,得到最终实验结论。 (2)在深度强化学习框架中,构建干线信号优化模型的关键在于如何设计多智能体参数来实现干线交叉口的信号优化控制,即定义信号优化模型中每个单独智能体的表征状态、奖励函数和动作空间。当前多数研究停留在如何增加模型信息共享,没有对已有信息共享方法进行深入探讨。为了探究不同信息共享机制下的模型性能表现,本研究通过实验设计,探究多智能体间的协调性和训练模型的复杂度。首先是交通状态感知交互,本文设计三种不同状态信息共享方式作为三个模型,测试三种状态信息共享程度下的模型性能及控制效果,根据实验结果选择控制效果良好且模型复杂度可接受的状态信息共享程度作为最优共享方式。其次是奖励信息共享,本研究在状态信息共享的基础上,定义三种不同奖励函数共享方式,进一步研究奖励共享对模型性能及控制效果的影响,最终选择最佳的状态及奖励共享机制对应的模型参数,为后续参数设置提供一定研究基础。 因此,本研究主要提出一种面向模型复杂度的解耦控制方法,根据不同交通路网数据分析相邻交叉口的关联性,得到交通路网的区域划分结果,实现区域内交叉口关联程度高而区域间交叉口关联程度低的效果。进一步利用模型解耦方法对多个独立子区进行信号控制,保证模型原有控制效果的同时也具有一定适用性。最后研究模型的关键参数,以确定最优的状态共享程度和奖励共享程度。
同方学位论文库