基于深度强化学习的多机协同空战方法研究

作     者：施伟 冯旸赫 程光权 黄红蓝 黄金才 刘忠 贺威 SHI Wei;FENG Yang-He;CHENG Guang-Quan;HUANG Hong-Lan;HUANG Jin-Cai;LIU Zhong;HE Wei

作者机构：国防科技大学系统工程学院长沙410073 北京科技大学人工智能研究院北京100083 北京科技大学自动化学院北京100083 

出 版 物：《自动化学报》 (Acta Automatica Sinica)

年 卷 期：2021年第47卷第7期

页      面：1610-1623页

核心收录：

学科分类：11[军事学] 12[管理学] 110302[军事学-军种战役学(含∶第二炮兵战役学)] 1103[军事学-战役学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(71701205 62073333)资助 

主　　题：多机协同空战 智能决策 深度强化学习 PPO算法 增强机制 

摘      要：多机协同是空中作战的关键环节,如何处理多实体间复杂的协作关系、实现多机协同空战的智能决策是亟待解决的问题.为此,提出基于深度强化学习的多机协同空战决策流程框架(Deep-reinforcement-learning-based multi-aircraft cooperative air combat decision framework,DRL-MACACDF),并针对近端策略优化(Proximal policy optimization,PPO)算法,设计4种算法增强机制,提高多机协同对抗场景下智能体间的协同程度.在兵棋推演平台上进行的仿真实验,验证了该方法的可行性和实用性,并对对抗过程数据进行了可解释性复盘分析,研讨了强化学习与传统兵棋推演结合的交叉研究方向.