基于多智能体强化学习的端到端合作的自适应奖励方法

作     者：史殿习 赵琛然 张耀文 杨绍武 张拥军 SHI Dian-xi;ZHAO Chen-ran;ZHANG Yao-wen;YANG Shao-wu;ZHANG Yong-jun

作者机构：国防科技大学计算机学院长沙410073 军事科学院国防科技创新研究院北京100166 中国人民解放军32282部队济南250000 天津(滨海)人工智能创新中心天津300457 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2022年第49卷第8期

页      面：247-256页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(91948303) 

主　　题：多智能体强化学习 图注意力网络 自适应内在奖励 

摘      要：目前,多智能体强化学习算法大多采用集中训练分布执行的方法,且在同构多智能体系统中取得了良好的效果。但是,由不同角色构成的异构多智能体系统往往存在信用分配问题,导致智能体很难学习到有效的合作策略。针对上述问题,提出了一种基于多智能体强化学习的端到端合作的自适应奖励方法,该方法能够促进智能体之间合作策略的生成。首先,提出了一种批正则化网络,该网络采用图神经网络对异构多智能体合作关系进行建模,利用注意力机制对关键信息进行权重计算,使用批正则化方法对生成的特征向量进行有效融合,使算法向正确的学习方向进行优化和反向传播,进而有效提升异构多智能体合作策略生成的性能;其次,基于演员-评论家方法,提出了一种双层优化的自适应奖励网络,将稀疏奖励转化为连续奖励,引导智能体根据场上形势生成合作策略。通过实验对比了当前主流的多智能体强化学习算法,结果表明,所提算法在“合作-博弈场景中取得了显著效果,通过对策略-奖励-行为相关性的可视化分析,进一步验证了所提算法的有效性。