基于深度强化学习的动态多车型绿色车辆路径优化研究

作     者：李卫朝 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：沈玉龙;牟三钢

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 082303[工学-交通运输规划与管理] 0835[工学-软件工程] 082302[工学-交通信息工程及控制] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 0823[工学-交通运输工程] 

主      题：动态车辆路径问题 节能减排 深度强化学习 注意力模型 

摘      要：物流运输是现代服务业的主要组成部分,对国民经济发展至关重要。我国物流业近年来得到了快速发展,与此同时,作为一个能源消耗和碳排放的大国,能源短缺和环境污染问题日益严重,发展绿色低碳的物流运输模式迫在眉睫。车辆路径问题的研究是实现节能减排和绿色运输的有效途径之一。现有基于深度强化学习的车辆路径问题的研究大多着眼于减少运输成本和运输时间两方面,对碳排放的考虑较少,且本质上属于静态单车型问题,无法解决实际物流配送过程中的客户需求动态变化、路径突发拥塞等问题。本文针对动态多车型绿色车辆路径问题进行研究,以实现节能减排和车辆合理调度,在提高交通运输效率的同时降低运输过程中造成的环境污染。具体研究内容如下:(1)从基本车辆路径问题出发,详细分析了动态多车型绿色车辆路径问题并对其进行数学建模。针对碳排放模型中未考虑车型因素的问题,引入了油耗和碳排放量综合计算模型的多车型版本,将车辆运输过程中的二氧化碳排放转化为绿色成本进行路径优化,利用最优化理论等数学工具寻找环境友好型绿色路径。(2)针对动态多车型绿色车辆路径问题具有NP(Non-deterministic Polynomial,NP)难属性,传统启发式算法难以规划出高质量配送方案的问题,设计了DHGRL(Reinforcement Learning for Dynamic Heterogeneous Green Vehicle Routing Problem)算法对其进行求解。该算法基于改进的编码器-解码器架构,并通过注意力机制来感知客户和交通流量信息的动态变化。针对求解过程中不同车辆和客户节点的选择问题,设计了车辆选择解码器和节点选择解码器,车辆解码器得到特定车辆被选择的概率,节点解码器通过给定来自编码器的节点嵌入和来自车辆解码器所选的车辆,计算得到所有未服务节点的概率分布。针对算法模型训练收敛慢的问题,采用带基准线的REINFORCE算法进行训练,提升了模型训练效率。仿真实验结果表明,本文所提方法同目前经典的深度强化学习方法相比,碳排放成本减少12.65%,总配送成本降低12.41%。同传统启发式算法相比,碳排放成本和总配送成本分别能够减少20.68%和18.36%。所提方法有效降低了车辆运输过程中的碳排放成本和总配送成本,减少了环境污染,提高了物流配送效率。