面向能源自洽的港口AGV充电策略强化学习建模与优化

作     者：刘少博 黄颖杰 何伟铭 

作者机构：武汉理工大学智能交通系统研究中心 武汉理工大学水路交通控制全国重点实验室 武汉理工大学三亚科教创新园 

出 版 物：《长安大学学报(自然科学版)》 (Journal of Chang'an University(Natural Science Edition))

年 卷 期：2024年第05期

页      面：164-176页

核心收录：

学科分类：08[工学] 082303[工学-交通运输规划与管理] 082302[工学-交通信息工程及控制] 0823[工学-交通运输工程] 

基　　金：国家重点研发计划项目(2021YFB2601300) 

主　　题：交通工程 能源自洽港口 清洁能源消纳 AGV充电策略 强化学习 仿真场景 

摘      要：为优化港口自动导引运输车(AGV)充电策略以提升港口清洁能源消纳的效果，提出一种仿真场景下的能源自洽港口AGV充电策略强化学习建模与优化方法。通过分析AGV运输与充电的调度流程，构建基于仿真的强化学习策略优化框架，将AGV的充电决策建模为马尔科夫决策过程(MDP),通过对环境空间、动作空间、奖励函数的设置来描述AGV充电决策对于整体运输作业的影响；根据中国某港口布局，构建包含集装箱进出口运输、AGV充电等流程的仿真模型，并对水平运输环节中，涉及的AGV选取、调度流程及充电规则进行定义，表达出实际运输场景中涉及的能源约束、设备数量约束、物流调度规则约束；分别将2种不同发力特征的新能源曲线作为充能奖励系数，利用深度Q值网络(DQN)算法与仿真模型的交互，实现充电策略的优化，并将优化充电策略与2种不同区间的规则充电策略在不同初始电量场景中进行比较分析。研究结果表明：在4种不同的初始电量情况下，2种优化充电策略的清洁能源消纳率分别保持在74%～94%和69%～72%,而规则充电策略则是在38%～62%和33%～55%;在总能耗上，优化充电策略的清洁能源占比为35%～47%,而规则充电策略则为17%～37%;在能耗成本上，优化充电策略普遍优于规则充电策略；4种策略在4种不同初始电量场景下的仿真时间均为60 000～62 000 s,没有明显差距，说明该方法在提高消纳能力的同时并没有增加整体作业时间，验证了该方法的有效性和经济性。