检索结果-南通市图书馆

检索条件"主题词=无遗憾学习"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

基于在线学习和演化博弈的强化学习方法研究

基于在线学习和演化博弈的强化学习方法研究

引用

作者：胡超豪中山大学

学位级别：硕士

随着强化学习应用场景不断深化,通常存在多个互联互通的智能体共同作用同一环境。多智能体并发学习使得智能体面临非稳态环境,给智能体决策带来极大挑战。博弈论作为研究多智能体交互及理性决策的学科,通过对智能体的决策目标与交互规... 详细信息

随着强化学习应用场景不断深化,通常存在多个互联互通的智能体共同作用同一环境。多智能体并发学习使得智能体面临非稳态环境,给智能体决策带来极大挑战。博弈论作为研究多智能体交互及理性决策的学科,通过对智能体的决策目标与交互规则进行高度抽象,并求解满足预定需求的均衡解,使得智能体能够在非稳态环境中实现动态、平衡的最优决策。近年来,结合博弈论与强化学习形成“博弈智能”这一新兴研究方向,成为强化学习研究的前沿领域。然而,当前研究仍面临以下诸多挑战。在竞争型博弈中,由于智能体间目标冲突,策略演化往往会出现循环现象。针对该现象,在无约束场景下已有不少研究进展,但其中只有乐观预测更新、双时间尺度学习等少部分技巧,因其理论证明的灵活性得以应用于具有策略约束的传统博弈论与强化学习领域。然而这些技术仍存在计算开销大、非对称学习、博弈效果不一致等缺陷,因此在带约束场景下,新的通用学习加速算法亟待被提出。本文从多智能体系统与力学分析的关联性出发,提出基于负动量的无遗憾在线学习加速算法,在无遗憾学习动态中加入负动量以缓解策略循环,同时证明了其与在带有旋度的梯度场中加入额外摩擦力场的等价性。本文从理论与实验上验证了上述算法的收敛加速效果,在多类不同规模的博弈验证场景下都取得了前沿水平。在双人零和博弈中,传统无遗憾算法通常仅具备平均策略的收敛性保证。然而在实际运用中,平均策略难以被表征,同时往往需要通过监督学习来拟合智能体的历史行为,从而引入了额外开销和估计偏差,制约了算法的设计与性能。因此,近年来最终策略收敛性逐渐成为研究热点。本文从博弈聚合的思想出发,通过在原博弈中加入势博弈分量以辅助算法具备最终策略收敛性,并给出指数速率收敛的理论性保证。同时,本文设计了退火与自适应两种技巧以辅助算法在原博弈中也具备最终策略收敛性。基于上述思路并结合方差约减技术设计优先采样方案,本文进一步提出无模型强化学习算法Ferrero。实验充分验证了上述算法能够在各类博弈中取得超过例如NFSP、PPO等强力基线算法的实验效果。本文将在线学习作为枢纽联系博弈论和多智能体强化学习,期望构建博弈论和多智能体强化学习间的通用求解框架,进一步推动博弈智能向前发展。

关键词：强化学习博弈论在线学习无遗憾学习

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：