基于深度强化学习和PID算法的自动驾驶汽车纵向控制研究

作     者：张萍萍 

作者单位：北京交通大学 

学位级别：硕士

导师姓名：赵建东

授予年度：2023年

学科分类：08[工学] 080204[工学-车辆工程] 0802[工学-机械工程] 

主      题：自动驾驶汽车 纵向控制 动力学模型 PID控制 DDPG 

摘      要：自动驾驶汽车纵向控制技术依托于先进的控制算法,准确地跟踪决策模块,精准地控制车辆的行车速度和行车间距,实现车辆安全高效行驶。因此,研究高效、精准的纵向控制算法是目前自动驾驶汽车领域的热点和难题。随着人工智能的快速发展,深度学习在自动驾驶控制领域得到了应用。因此,本文基于深度强化学习理论和PID控制算法建立了分层纵向控制系统,通过搭建车辆动力学模型和仿真平台,对所提方法和模型进行了验证。论文研究有助于推动自动驾驶汽车纵向控制技术的发展,从而提高车辆安全行驶能力,具有重要的科研价值和实际意义。主要研究内容如下:(1)建立车辆纵向动力学模型。首先,基于CARSIM软件以C-Class Hatchback车型作为基础研究对象。其次,选用实车的车体参数进行整车车体参数设计。接着,对纵向控制系统中的发动机、变速器以及液力变矩器等动力装置以及制动系统建立数学模型。然后,联合CARSIM和SIMULINK软件,开发了仿真验证平台,并对输入输出接口参数进行了配置。(2)构建融合深度确定性策略梯度(DDPG)和PID控制的上层控制器。首先,针对融合算法中的深度神经网络部分,利用马尔可夫决策过程(MDP)设计神经网络的状态空间和动作空间以及模型结构,并从安全性、舒适性、效率性等方面设计奖励函数,突出安全因素的重要性。其次,针对PID控制部分,将车辆自身状态参数及DDPG网络输出的PID系数输入PID控制器,计算得到期望加速度a并输入至下层控制器。之后,仿真对比DDPG-PID和PID在复杂工况下的跟踪效果,结果表明,DDPG-PID的最大速度误差为0.17m/s,PID的最大误差为0.37m/s,DDPG-PID控制精准性优于PID控制。(3)构建下层控制器的驱动制动切换策略。首先,将期望加速度a和反馈的实际加速度a 的差值输入PID控制器,计算输出控制加速度a,用于构建驱动制动切换策略。其次,基于车辆在斜坡上驱动时的受力构建逆驱动模型,输出节气门开度;基于车辆制动时的受力构建制动模型,输出制动压力。接着,将油门或刹车指令输入到仿真平台的车辆模型进行验证。结果表明,下层控制器可实现驱动制动的有效切换。(4)控制系统联合仿真验证。首先,在CARSIM平台设置车辆系统参数,在SIMULINK中建立纵向上下层控制算法模型。其次,在联合仿真平台验证五种日常仿真工况(巡航行驶、稳态跟车、启动跟随、前车切入、前车切出)。以稳态跟车工况为例,本车跟随前车速度变化曲线基本吻合,加速度变化趋势和速度变化相对应,加速度最大峰值为0.37m/s,最小峰值为-0.45m/s,对加速度变化感受程度较轻,两车间距控制比较平缓,且大于安全距离。结果表明,本文所设计的融合DDPG和PID的纵向控制方法可有效地控制车辆的行车速度和行车间距,满足自动驾驶汽车安全行驶的需求。