基于深度强化学习的自动驾驶超车决策研究

作     者：苏晓乐 

作者单位：长安大学 

学位级别：硕士

导师姓名：汪贵平

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 082304[工学-载运工具运用工程] 080204[工学-车辆工程] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 0823[工学-交通运输工程] 

主      题：自动驾驶 超车决策 深度强化学习 元学习 深度Q网络 近端策略优化 

摘      要：随着自动驾驶技术的快速发展,为自动驾驶车辆供安全、高效的超车行为决策,是自动驾驶领域中具有挑战性的问题之一。考虑到周围驾驶环境中传统驾驶车辆行为的多样性和自动驾驶车辆超车决策的复杂性,本文依托国家重点研发项目“车路协同环境下车辆群体智能控制理论与测试验证(2018YFB1600600),以混合交通为主要研究场景,对基于深度强化学习的自动驾驶超车决策问题展开研究,主要研究内容如下:(1)针对混合交通场景中传统驾驶车辆危险的分心驾驶行为进行识别,并对多种驾驶行为建模,将其应用于异质混合交通环境中的周围驾驶车辆。首先,从真实分心驾驶图像数据集中取驾驶特征部分以形成新的增强数据集。然后,采用优化的四层卷积神经网络对新生成的数据集进行分心驾驶行为特征识别。最后,对周围驾驶车辆的分心型、激进型、保守型驾驶行为进行建模。通过实验结果发现:使用多层卷积神经网络模型对分心驾驶行为特征进行识别时,其在增强后的数据集上准确率高于原始数据集上的识别准确率;与三层、五层卷积神经网络相比,四层卷积神经网络模型的识别效率和准确率最高。(2)针对现有混合交通场景下超车决策模型中训练时间长、收敛速度慢的问题,出了基于深度元Q网络学习算法的超车决策模型。首先,出改进的元深度Q网络学习算法,该算法通过引入元学习获取深度Q网络的初始化参数。然后,建立基于元深度Q网络学习算法的超车决策模型,在模型中构建卷积神经网络组成的超车决策模块。最后,搭建混合交通场景下的仿真环境,在该仿真场景下对改进的模型进行验证,模型对比结果表明:在超车过程的安全性、高效性指标中,基于元深度Q网络的超车决策模型表现优于基于深度Q网络算法的超车决策模型,并且训练时间缩短、收敛速度加快。(3)针对现有异质混合交通场景下超车决策的任务分配单一的问题,出了基于子任务图推理元学习器改进的MSGI-PPO算法的超车决策模型。首先,设计改进的MSGI-PPO算法,该算法引入子任务图推理元学习器,使近端策略优化算法具备推断子任务的能力。然后,建立基于MSGI-PPO算法的超车决策模型,该模型可以推断超车任务的子任务,并在适应阶段的若干个回合内快速适应新任务。最后,搭建具有多种驾驶风格的异质混合交通场景下的仿真环境。模型对比结果表明:在不同指标下,基于MSGIPPO算法的超车决策模型在超车过程中的表现优于其他对比模型。