面向参数化动作空间的多智能体中心化策略梯度分解及其应用

作     者：田树聪 谢愈 张远龙 周正春 高阳 

作者机构：西南交通大学信息科学与技术学院 国防科技大学智能科学学院 计算机软件新技术国家重点实验室(南京大学) 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2024年

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 082601[工学-武器系统与运用工程] 081104[工学-模式识别与智能系统] 08[工学] 082501[工学-飞行器设计] 0826[工学-兵器科学与技术] 082602[工学-兵器发射理论与技术] 0835[工学-软件工程] 0825[工学-航空宇航科学与技术] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(62173336 92271108) 

主　　题：参数化动作空间 多智能体强化学习 中心化策略梯度分解 多巡航导弹突防 

摘      要：近年来,多智能体强化学习方法凭借AlphaStar、AlphaDogFight、AlphaMosaic等成功案例展示出卓越的决策能力以及广泛的应用前景.在真实环境的多智能体决策系统中,其任务的决策空间往往是同时具有离散型动作变量和连续型动作变量的参数化动作空间.这类动作空间的复杂性结构使得传统单一针对离散型或连续型的多智能体强化学习算法不在适用,因此研究能用于参数化动作空间的多智能体强化学习算法具有重要的现实意义.提出一种面向参数化动作空间的多智能体中心化策略梯度分解算法,利用中心化策略梯度分解算法保证多智能体的有效协同,结合参数化深度确定性策略梯度算法中双头策略输出实现对参数化动作空间的有效耦合.通过在Hybrid Predator-Prey场景中不同参数设置下的实验结果表明该算法在经典的多智能体参数化动作空间协作任务上具有良好的性能.此外,在多巡航导弹协同突防场景中进行算法效能验证,实验结果表明该算法在多巡航导弹突防这类具有高动态、行为复杂化的协同任务中有效性和可行性.