Actor-Critic框架下的多智能体决策方法及其在兵棋上的应用

作     者：李琛 黄炎焱 张永亮 陈天德 LI Chen;HUANG Yanyan;ZHANG Yongliang;CHEN Tiande

作者机构：南京理工大学自动化学院江苏南京210094 陆军工程大学指挥控制工程学院江苏南京210007 

出 版 物：《系统工程与电子技术》 (Systems Engineering and Electronics)

年 卷 期：2021年第43卷第3期

页      面：755-762页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 0808[工学-电气工程] 0809[工学-电子科学与技术（可授工学、理学学位）] 081104[工学-模式识别与智能系统] 08[工学] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61374186) 2018年装备预研领域基金(61403120205)资助课题 

主　　题：智能战术 兵棋推演 多智能体强化学习 Actor-Critic框架 分布执行集中训练 

摘      要：将人工智能应用于兵棋推演的智能战术兵棋正逐年发展,基于Actor-Critic框架的决策方法可以实现智能战术兵棋的战术行动动态决策。但若Critic网络只对单算子进行评价,多算子之间的网络没有协同,本方算子之间各自行动决策会不够智能。针对上述方法的不足,提出了一种基于强化学习并结合规则的多智能体决策方法,以提升兵棋推演的智能水平。侧重采用强化学习对多算子的行动决策进行决策分析,并结合产生式规则对战术决策进行规划。构建基于Actor-Critic框架的多算子分布执行集中训练的行动决策模型,对比每个算子互不交流的封闭式行动决策学习方法,提出的分布执行集中训练方法更具优势且有效。