基于安全强化学习的无人车横向模型预测控制研究

作     者：吴珂 

作者单位：重庆理工大学 

学位级别：硕士

导师姓名：胡博

授予年度：2024年

学科分类：08[工学] 082304[工学-载运工具运用工程] 080204[工学-车辆工程] 0802[工学-机械工程] 0823[工学-交通运输工程] 

主      题：安全强化学习 不确定性传播 模型预测控制 模型误差 

摘      要：虽然城市交通带来了出行上的便利和行动范围的扩大,但是车辆的逐渐普及也使得交通拥堵,交通事故这些问题的发生频率增加。为了驾驶方便,同时解决以上交通问题,无人驾驶成了如今被高度重视的前沿技术。横向控制是无人驾驶里很重要的一部分。大部分的算法能在仿真环境中展现出良好性能,然而因为环境差异,在实际环境中的表现往往是次优的,或者无法保证安全。强化学习可以让车辆在环境中交互学习以提升性能,但仍然无法保证在真实环境中的安全性。 本文考虑不确定性以及计算过程中产生的误差,以安全的方式用基于学习的模型预测控制(Learning-based MPC)学习模型并完成无人车横向控制。首先用高斯模型估计先验模型和真实环境之间存在的模型误差,通过先验策略作为初始策略提升在真实环境中的初始性能。然后估计预测模型与真实环境的误差和该误差在预测过程中的传递,并应用到基于学习的模型预测控制算法保证车辆行驶的安全性且通过与环境交互产生的训练数据对模型进行训练。实验结果表明,算法能够以高概率保证学习过程中的安全且经过训练后能获得更好的性能。算法具备在真实环境中安全自学习的能力是强化学习广泛运用到真实环境的关键,其实现也使真实车辆边驾驶边学习,在实践中自进化的模式成为可能。 文章的主要研究如下: (1)建立预测模型。在存在先验认识的情况下,我们用高斯模型估计模型误差,其输出表现为由高斯过程均值函数和协方差函数共同决定的下一时刻状态概率分布。 (2)不确定性及误差估计。我们用椭球去描述高斯模型的不确定性状态区域。借助椭球仿射变换不变性等性质,对不确定性和各种计算误差求和,以及计算多步预测过程中的不确定和误差的累计。 (3)设计基于学习的模型预测控制控制器。设计合理的模型预测控制器使得车辆能够安全的与真实环境交互并学习环境模型。 (4)对训练结果进行对比分析,证明了算法能够在安全的前提下进行学习,且随着学习表现出更好的性能,模型能够越来越精确。同时,利用先验认识提高算法的初始性能,并且加快学习效率。