基于动态自选择参数共享的合作多智能体强化学习算法

作     者：王涵 俞扬 姜远 WANG Han;YU Yang;JIANG Yuan

作者机构：计算机软件新技术国家重点实验室(南京大学)江苏南京210023 

出 版 物：《智能科学与技术学报》 (Chinese Journal of Intelligent Science and Technology)

年 卷 期：2022年第4卷第1期

页      面：75-83页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(No.61876077) 

主　　题：多智能体系统 强化学习 参数共享 

摘      要：在多智能体强化学习的研究中,参数共享作为学习过程中一种信息集中的方式,可以有效地缓解不稳定性导致的学习低效性。但是,在实际应用中智能体使用同样的策略往往会带来不利影响。为了解决此类过度共享的问题,提出了一种新的方法来赋予智能体自动识别可能受益于共享参数的智能体的能力,并且可以在学习过程中动态地选择共享参数的对象。具体来说,智能体需要将历史轨迹编码为可表示其潜在意图的隐信息,并通过与其余智能体隐信息的对比选择共享参数的对象。实验表明,提出的方法在多智能体系统中不仅可以提高参数共享的效率,同时保证了策略学习的质量。