基于多智能体强化学习求解柔性作业车间联合调度问题

作     者：孟繁威 郭宏 延小龙 武玉鑫 张德华 罗雷 

作者机构：太原科技大学机械工程学院 山西平阳重工机械有限责任公司 

出 版 物：《计算机集成制造系统》 (Computer Integrated Manufacturing Systems)

年 卷 期：2024年

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 080202[工学-机械电子工程] 08[工学] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：智能车间 多智能体 联合调度 双重深度Q网络 

摘      要：针对柔性作业车间中工件、AGV和机器的联合调度问题，以完工时间最小化为优化目标，提出了一种基于双重深度Q网络的分布式多智能体强化学习（DMA-DDQN）方法进行求解。创建了三类智能体，即工件分配智能体、AGV调度智能体及工序选择智能体，分别解决工件分配、AGV选择以及机器工序选择三类调度子问题。首先，双重深度Q网络(DDQN）算法用于训练三类智能体，通过捕捉生产信息和调度目标之间的关系，做出调度决策；其次，针对三类智能体，分别设计了状态和动作表示，以实现更高效的决策。其中，在设计工件分配智能体时，引入了机器评价指数，用于解决车间规模扩大时状态空间产生的维度爆炸问题；在奖励函数设计时采用了替代奖励成形技术，以提高学习效率和调度效率。最后，为了验证所提方法中各类智能体在不同规模下的性能，与现有的启发式调度算法进行了对比；进一步，与复合启发式调度算法及现有调度算法相比，验证所提方法在不同规模下的优越性。