多智能体深度强化学习及其可扩展性与可迁移性研究综述

作     者：闫超 相晓嘉 徐昕 王菖 周晗 沈林成 YAN Chao;XIANG Xiao-jia;XU Xin;WANG Chang;ZHOU Han;SHEN Lin-cheng

作者机构：国防科技大学智能科学学院长沙410073 

出 版 物：《控制与决策》 (Control and Decision)

年 卷 期：2022年第37卷第12期

页      面：3083-3102页

核心收录：

学科分类：0820[工学-石油与天然气工程] 12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：科技创新2030-“新一代人工智能”重大项目(2020AAA0108200) 国家自然科学基金项目(61825305,61906203,61803377) 湖南省研究生科研创新项目(CX20210001) 

主　　题：深度强化学习 多智能体系统 迁移学习 课程学习 可扩展性 可迁移性 

摘      要：得益于深度学习强大的特征表达能力和强化学习有效的策略学习能力,深度强化学习在一系列复杂序贯决策问题中取得了令人瞩目的成就.伴随着深度强化学习在诸多单智能体任务中的成功应用,其在多智能体系统中的研究方兴未艾.近年来,多智能体深度强化学习在人工智能领域备受关注,可扩展与可迁移性已成为其中的核心研究点之一.鉴于此,首先阐释深度强化学习的发展脉络和典型算法,介绍多智能体深度强化学习的3种学习范式,分析两类多智能体强化学习的典型算法,即分解值函数方法和中心化值函数方法;然后归纳注意力机制、图神经网络等6类具有可扩展性的多智能体深度强化学习模型,梳理迁移学习和课程学习在多智能体深度强化学习可迁移性方向的研究进展;最后讨论多智能体深度强化学习的应用前景与研究方向,为未来多智能体深度强化学习的进一步发展提供可借鉴的参考.