基于模型选择的多智能体行为预测方法研究

作     者：李若南 

作者单位：大连理工大学 

学位级别：硕士

导师姓名：魏小鹏

授予年度：2021年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：多智能体系统 行为预测 模型选择 

摘      要：近年来,针对智能体或多智能体系统的研究已经成为当前人工智能领域的研究热点之一。在多智能体系统中,多个智能体往往需要通过交互(例如,合作、竞争等)完成目标任务。本质上,智能体之间的高效交互可以通过分析并预测其他智能体的行为实现,进而提升整体系统任务完成的速率和成功率。其中,一种广泛使用的方法是利用智能体历史交互信息构建对手行为模型来预测当前交互过程中相关智能体的策略或行为。然而,该类方法需要在大量的候选模型中选择最合适的模型完成智能体行为预测任务,具有较高的时间和空间代价。因此,本文提出了一种基于次模函数优化的模型选择方案,致力于解决复杂多智能体系统中的智能体行为预测问题。首先,针对预测模型选择困难的问题,本文提出了一种基于次模函数的模型空间优化方法。该方法能够从大规模的候选模型中提取出具有代表性的小规模模型子集,极大地缩小智能体预测模型的筛选空间。此外,次模函数的性质保证所得模型子集的解在最差情况下不低于最优解的(1-1/e)。具体地,本文针对多智能体系统中使用次模函数求解候选模型子集的问题提出了两种解决方案:(1)在不考虑智能体物理内存空间局限的理想情况下,提出离线的次模函数求解方案,在智能体交互之前利用历史交互信息构建对手智能体行为模型,并基于候选模型之间的相似性统一筛选出具有代表性的候选模型子集;(2)考虑智能体物理内存有限的真实复杂场景,提出分批次的在线次模函数模型选择方案,在智能体交互的过程中通过最小化增量模型与已选模型子集的重合度更新模型子集。其次,本文引入基于置信度上界的多臂赌博机算法,致力于在智能体交互过程中在线识别出预测模型子集中最适用的模型对对手行为进行预测。该方法通过多次探索预测模型子集中每个模型的奖励分布,可以有效平衡针对模型子集空间的探索和利用,获取更多预测收益。此外,本文还引入了一种基于“精英模仿示范学习策略的知识迁移方法。该策略支持适应度高的精英智能体将有益知识分享给与其经历相似但学习能力较差的智能体,以此来提高智能体的表现能力并加速系统的学习进程。最后,本文将所提出的方法整合到一个现有基于模因计算的多智能体学习系统框架中。利用该系统在复杂的雷区导航任务平台进行实验并与现有方法进行对比,证明了所提出的方法在解决智能体行为预测问题上的有效性。