基于深度强化学习的智能模型车云端决策方法研究

作     者：黄健强（Benny Wijaya） 

作者单位：清华大学 

学位级别：硕士

导师姓名：杨殿阁

授予年度：2019年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 082304[工学-载运工具运用工程] 081104[工学-模式识别与智能系统] 080204[工学-车辆工程] 0838[工学-公安技术] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0823[工学-交通运输工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：深度强化学习 UWB 传感器融合 云计算 

摘      要：提高交通效率的常用方法是控制交通信号灯以确保交通畅通,然而由于车辆行为的不可控,实际效果有限。随着智能网联汽车技术的发展,交通系统的云端控制中心不仅可以控制交通信号灯,还有可能直接控制车辆。在这种以云端为控制中心的交通管理模式下,云端决策能力是决定交通系统效率的关键因素。云端决策算法将是未来智能交通系统的关键技术。由于云端决策研究涉及多车协同,使用真实车辆进行研究的难度和危险性都很高。因此本文将以智能模型车为载体重点研究基于深度强化学习的云端决策算法。本文的研究工作可以大致分为三大部分:首先,本文提出了融合视觉与UWB的室内定姿定位算法,解决了模拟车位姿信息的准确获取。目前已有的室内定位方法是基于相机的检测,缺点是对目标的光线和颜色过于敏感,导致检测定位不够稳定可靠。因此,本文研究了不依赖相机的无线定位方式UWB,构建了基站自适应选择的UWB定位系统,解决多基站时间难同步和定位精度不稳定的问题。在此基础上,本文进一步研究了实时定位信息与地图先验信息的融合定位方法,实现了多目标的位置检测与跟踪。本文基于UWB定位系统实现了良好的定位效果,然而无法获取模型车姿态信息。因此进一步研究了相机检测和UWB定位融合的位姿估计系统,实现了位姿信息的准确获取。然后,本文研究了两种深度强化学习模型,分别是:深度Q网络(DQN)和异步优势演员评论家(A3C)。本文基于这两种算法进行了云端决策系统的训练,并进行了比较,以找到最佳算法。为了验证深度强化学习算法对交通效率的优化,本文将基于云端控制的交通效率与基于交通信号灯的交通效率进行了对比。最后,为了验证所提出的算法,本文构建了虚拟仿真软件平台和微缩交通系统平台,对云端决策算法进行了测试。虽然本项研究的对象是模型车,但其控制接口是预期速度和方向盘转角,与云端中心的交互方式是无线传输,与真实车辆类似,以便确保本文所研究的深度强化学习算法能够应对真实交通环境。仿真测试的结果表明,本文所提出的深度强化学习可以确保多辆受控的车辆安全高效的通过交叉路口。基于微缩交通平台的测试,则表明本文所提出的多传感器融合的室内定姿定位方法精度高效果稳定。同时,在云端控制模型车的模式下,也初步验证了深度强化学习能够应对交叉路口处的决策问题。