基于深度强化学习的AGV运输路径规划

作     者：杨云霄 

作者单位：沈阳化工大学 

学位级别：硕士

导师姓名：王军

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 080202[工学-机械电子工程] 08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：移动机器人 路径规划 DDQN 深度强化学习 

摘      要：近年来,移动机器人导航在各个领域引起了广泛研究,深度强化学习可以让智能体与未知环境不断交互,从而获得到达目标的最优策略,并不需要任何先验知识,因此深度强化学习应用于移动机器人导航是目前的发展趋势。本文研究的是基于深度强化学习的多AGV路径规划算法,通过基于改进深度双Q网络,提高对值函数估计的准确性和样本的利用率,采用HER策略并结合独立DDQN思想,在稀疏奖励环境中实现多AGV装卸任务,并获得高效且轨迹更短的最优路径,并搭建AGV仿真系统。具体完成的工作有:首先针对DQN算法出现的值函数高估计以及DDQN算法值函数低估计的情况,提出基于DDQN改进的算法来平衡两者,让值函数能够估计更加准确。其次在基于改进的深度强化学习DDQN算法的基础上提出了一种结合后见经验回放的算法改进,解决稀疏奖励问题,样本利用率更高,收敛速度更快。然后根据独立DQN思想,在改进的DDQN算法上,通过共享网络参数来实现多AGV的路径规划。最后搭建AGV系统仿真平台系统,包括AGV模块,中央控制模块,AGV监控模块的,通过仿真系统可以更加贴合现实情况。在相同环境的仿真实验表明,本文改进算法比较传统的深度强化学习算法在多移动机器人路径规划的奖赏值收敛速度以及成功率方面都有一定程度的提升和优化,可以让深度强化学习算法更好的应用于复杂环境下的多移动机器人路径规划问题。