多智能体环境下基于深度强化学习的运动规划算法设计

作     者：Perovic Gojko 

作者单位：上海交通大学 

学位级别：硕士

导师姓名：李柠

授予年度：2020年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 080202[工学-机械电子工程] 08[工学] 081104[工学-模式识别与智能系统] 0804[工学-仪器科学与技术] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：自主智能体 自我调节学习 运动规划 强化学习 视觉学习 

摘      要：在实际应用中,运动规划（Motion Planning,MP）是集成机器人系统在动态、非结构化环境中需要面临的主要挑战。而在环境中引入其他动态智能体会增加环境的不确定性,机器人在这样不确定性较高的环境中完成复杂任务的同时,还需要保障不发生碰撞,此时运动规划问题的复杂性将大大增加。解决这类问题,通常会使用启发式设计策略,但这需要对系统有先验知识;而且,对于非结构化环境,这种方法耗时过长,可行性不高。因此本文主要研究并提出了一种在动态环境下,面向连续控制和运动规划的深度强化学习（Deep Reinforcement Learning,DRL）的方法:首先,本文概述了深度强化学习框架在连续控制和运动规划应用中面临的挑战,针对避障控制问题,本文定义了一种通用奖励机制,并利用以受控对象为中心的状态空间信息来训练受控对象;其次,针对运动规划问题,本文设计并实现了“好奇心驱动模块,进一步改进通用奖励机制,提升了模型对复杂任务的探索能力;最后,本文通过加入卷积神经网络,将模型的适用范围扩展到视觉学习领域,验证了模型的有效性。为了验证本文方法在避障、多目标路径规划和多智能体协作等多个问题上的有效性,本文搭建了模拟动态多智能体仿真环境,将本文提出的模型与基本的强化学习模型进行了对比实验,结果表明,本文提出的模型在上述问题上均有更好的表现效果;并在模型中加入了卷积层,与不加卷积层的模型相对比,加入卷积层的模型在视觉任务的处理上有更好的表现。