基于Sarsa算法的城轨列车节能控制策略研究

作     者：孟建军 蒋小一 陈晓强 胥如迅 MENG Jianjun;JIANG Xiaoyi;CHEN Xiaoqiang;XU Ruxun

作者机构：兰州交通大学机电技术研究所兰州730070 甘肃省物流与运输装备行业技术中心兰州730070 甘肃省物流及运输装备信息化工程技术研究中心兰州730070 兰州交通大学机电工程学院兰州730070 

出 版 物：《铁道标准设计》 (Railway Standard Design)

年 卷 期：2024年第68卷第8期

页      面：8-14页

学科分类：082304[工学-载运工具运用工程] 08[工学] 080204[工学-车辆工程] 0802[工学-机械工程] 0814[工学-土木工程] 082302[工学-交通信息工程及控制] 082301[工学-道路与铁道工程] 0823[工学-交通运输工程] 

基　　金：国家自然科学基金项目(62063013) 兰州交通大学青年基金项目(2021018) 甘肃省优秀研究生“创新之星”项目(2022CXZX-517) 

主　　题：城市轨道交通 节能 强化学习 Sarsa算法 控制策略 

摘      要：针对城市轨道交通节能运行问题,提出一种基于Sarsa强化学习算法的城轨列车节能控制策略,实现了城轨列车在自动驾驶状态下,面对不同路况,执行减少能源消耗驾驶策略的同时兼顾准时性和舒适性。根据线路条件将列车状态进行离散化处理,将连续的驾驶过程分为若干个子区间进行分段求解。结合区间限速、初始状态、终末状态等限制条件,基于能耗及运行时间分别构造适当的奖励函数。同时,用当前状态下可达的最大速度与最小速度对可选速度集合进行限制,缩小探索空间,加快算法收敛。最后,通过对北京铁路亦庄线小红门站至肖村站的实例进行仿真。实验结果表明,与传统的动态规划方法相比,Sarsa算法在满足舒适性和准时性要求的情况下节能9.32%。相比于强化学习中的Q学习算法,在速度的选取过程中,超速次数也有明显下降。仿真结果证明Sarsa算法具有更好的节能效果和安全性。在算法参数不变的情况下,调整限速条件,与传统动态规划算法进行二次对比,依旧节能4.21%,验证了算法的鲁棒性。