基于深度强化学习的自动化码头AGV调度仿真和优化

作     者：李斌 崔宏阳 LI Bin;CUI Hongyang

作者机构：福建理工大学机械与汽车工程学院福州350118 福建理工大学计算机科学与数学学院福州350118 福建理工大学福建省大数据挖掘与应用技术重点实验室福州350118 

出 版 物：《交通运输工程与信息学报》 (Journal of Transportation Engineering and Information)

年 卷 期：2024年第22卷第3期

页      面：134-151页

学科分类：081505[工学-港口、海岸及近海工程] 08[工学] 0815[工学-水利工程] 

基　　金：教育部人文社会科学研究规划基金项目(19YJA630031) 

主　　题：水路运输 实时动态交互 深度强化学习 AGV作业调度 可视化动态调度 

摘      要：为解决自动化集装箱码头的自动导引车(Automatic Guided Vehicle,AGV)调度模型中传统数学模型难以实时可视化调度和仿真模型内调度策略效率难以提升的问题,本文在建立的仿真模型和运筹规划模型的基础上研究了深度强化学习算法与AnyLogic自动化集装箱码头仿真模型交互的路径方法。随后,利用自动化集装箱码头进口箱仿真模型低任务产生率情况下AGV作业数据训练深度强化学习算法的网络模型,再将其加载在高任务和低任务产生率仿真模型中进而实现了对模型中AGV高效的作业调度,有效地突破了AnyLogic系统内策略效率难以提升的瓶颈和系统外CPLEX工具求解运筹规划数学模型时难以处理大规模数据、求解过程繁杂的局限。实验结果显示,深度强化学习DDQN算法在低任务产生率仿真模型中前端堆场的AGV作业调度中效率相较于AnyLogic系统内自定义表现最好的策略和系统外CPLEX求解的策略分别平均提升522 s和1604 s,在高任务产生率的自动化码头仿真模型前端和后端堆场AGV作业调度中相较于系统内自定义策略平均提升了3000 s。深度强化学习算法与AnyLogic仿真模型交互的路径方法不仅实现了可视化的实时动态调度,而且提升了AGV作业调度效率和整个自动化集装箱码头仿真模型的效率。