检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

不完美信息扩展式博弈中在线虚拟遗憾最小化

计算机研究与发展 2014年第10期51卷 2160-2170页

作者：胡裕靖高阳安波软件新技术国家重点实验室(南京大学) 南京210023 中国科学院计算技术研究所智能信息处理重点实验室北京100190

研究在不完美信息扩展式博弈中对次优对手弱点的利用.针对该领域中一种常用方法——对手建模方法——的不足,提出了从遗憾最小化的角度来利用次优对手弱点的思想,并基于一种离线的均衡计算方法——虚拟遗憾最小化方法——将其扩展到在... 详细信息

研究在不完美信息扩展式博弈中对次优对手弱点的利用.针对该领域中一种常用方法——对手建模方法——的不足,提出了从遗憾最小化的角度来利用次优对手弱点的思想,并基于一种离线的均衡计算方法——虚拟遗憾最小化方法——将其扩展到在线博弈的场景中,实现对次优对手弱点的利用.提出了从博弈结果中估计各个信息集的虚拟价值的方法,给出2种估计手段:静态估计法和动态估计法.静态估计法直接从博弈结果的分布中进行估计,并对每个结果给以相等的估计权重;而动态估计法则对新产生的博弈结果给以较高的估计权重,以便快速地适应对手的策略变化.基于2种估计方法,提出在线博弈中虚拟遗憾最小化的算法,并在基于单牌扑克的实验中,与4种在线学习算法(DBBR,MCCFR-os,Q-learning,Sarsa)进行了对比.实验结果显示所提出的算法不仅对较弱对手的利用效果最好,还能在与4种对比算法的比赛中取得最高的胜率.

关键词：扩展式博弈不完美信息遗憾最小化虚拟遗憾最小化静态估计法动态估计法

基于不完全信息的工业园区多主体需求响应博弈策略研究

在线全文

学校读者我要写书评

暂无评论

电工电能新技术 2024年第2期43卷 65-77页

作者：孙勇王惠锋孟祥东李宝聚王大亮王尧胡枭陈厚合国网吉林省电力有限公司吉林长春130022 东北电力大学电气工程学院吉林省吉林市132012 国网吉林省电力有限公司电力科学研究院吉林长春130021 国网吉林省电力有限公司长春供电公司吉林长春130021

随着我国电力市场化改革进程的推进与发展,在工业园区层面如何攫取各响应主体最大利润,以引导用户积极参与需求响应成为亟待解决的新问题。基于响应流程中市场信息披露有限且用户与聚合商自由缔结合约的情形,本文提出了一种聚合商视角... 详细信息

随着我国电力市场化改革进程的推进与发展,在工业园区层面如何攫取各响应主体最大利润,以引导用户积极参与需求响应成为亟待解决的新问题。基于响应流程中市场信息披露有限且用户与聚合商自由缔结合约的情形,本文提出了一种聚合商视角下的最佳博弈策略及针对用户的收益分配方式。考虑工业园区内用户的利益关系,建立以不完全信息贝叶斯博弈作为上层、以合作博弈作为下层的多主体双层博弈架构;其次以最大化自身利益为目标,采用改进的虚拟遗憾最小化思想结合启发式算法求解博弈均衡,达成园区内的稳定合作关系。最后通过算例进行验证,分别设置了不同场景下申报策略和收益分配两方面的多个对比模型,结果表明本文所提方法得出的策略能够提高用户收益,且利益分配机制的合理选择能够在提高用户需求响应积极性方面起到促进作用。

关键词：多主体需求响应贝叶斯博弈电力市场工业园区不完全信息虚拟遗憾最小化

在线全文

学校读者我要写书评

暂无评论

基于遗憾折扣的深度虚拟遗憾最小化算法研究

基于遗憾折扣的深度虚拟遗憾最小化算法研究

作者：孙小真哈尔滨工业大学

学位级别：硕士

现实生活中,博弈无处不在。一直以来,作为博弈论与计算机技术相结合的产物,机器博弈都是人工智能领域的研究热点。机器博弈的种类包含完全信息博弈和非完全信息博弈两种,非完全信息博弈存在隐藏信息,因此会产生欺诈、合谋、利用等情况,... 详细信息

现实生活中,博弈无处不在。一直以来,作为博弈论与计算机技术相结合的产物,机器博弈都是人工智能领域的研究热点。机器博弈的种类包含完全信息博弈和非完全信息博弈两种,非完全信息博弈存在隐藏信息,因此会产生欺诈、合谋、利用等情况,这使得博弈方在做出决策前考虑的情况更为复杂。与完全信息博弈相比,非完全信息博弈更加贴近现实世界,比如商业谈判、军事博弈及金融调控等,这些现实生活中存在的情况都包含了隐藏信息,因此非完全信息博弈具有非常重要的研究价值。虚拟遗憾最小化算法(Counterfactual Regret Minimization,CFR)是现有的求解非完全信息博弈的最有效方法之一。虽然CFR算法已经能够求解较大规模的博弈问题,但传统CFR算法存在收敛缓慢的问题,且需要和抽象方法结合,但抽象往往会带来信息损失。本文围绕以上两个方面,开展了加快CFR算法收敛速度以及结合深度学习估值方面的研究。针对传统CFR算法收敛缓慢的问题,本文从改变遗憾值迭代方式这一方面研究加快CFR收敛速度的方法。传统的CFR算法在每次迭代中都对整棵博弈树进行搜索,效率低且耗时久,这限制了其在大规模博弈问题中的应用。在此前的CFR算法变体中,每次迭代对于累加遗憾值的贡献被分配了相同的权重。现在我们考虑在确定遗憾值时,对CFR的每次迭代进行折扣,为早期的迭代分配较小的权重,以减少早期迭代对最终策略的影响。针对CFR算法离线计算策略不适用于博弈环境未知状况的问题,本文结合深度学习,采用深度神经网络来近似CFR算法在整个博弈过程中的行为。且CFR算法在求解大型扩展式博弈问题时,通常需要在运行CFR算法之前先对原始问题进行抽象,而抽象则会带来信息损失。通过结合神经网络估值方法来减少对原始问题的抽象,从而进一步提升策略求解的效率与质量。为验证本文改进的CFR算法的效果,本文在不同的非完全信息卡牌类游戏上进行实验测试,通过对实验结果的测评与对比,分析所提出算法的有效性。

关键词：非完全信息博弈虚拟遗憾最小化遗憾值折扣估值网络

基于回归抽象和单估值网络的虚拟遗憾最小化算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于回归抽象和单估值网络的虚拟遗憾最小化算法研究

作者：于梓元哈尔滨工业大学

学位级别：硕士

人工智能是面向未来的一种关键性、战略性技术科学,而机器博弈作为人工智能的重要研究领域之一,自诞生起就一直是人工智能发展水平的试金石。根据博弈者是否能够获取到博弈中的全部信息,机器博弈又分为完备信息博弈和非完备信息博弈两... 详细信息

人工智能是面向未来的一种关键性、战略性技术科学,而机器博弈作为人工智能的重要研究领域之一,自诞生起就一直是人工智能发展水平的试金石。根据博弈者是否能够获取到博弈中的全部信息,机器博弈又分为完备信息博弈和非完备信息博弈两种。其中非完备信息博弈因存在不可观察的信息,会包含诸如欺诈、猜测、虚张声势等情景,更加贴近现实世界中的一般博弈场景。现实世界中的战场指挥、金融决策、谈判等场景都存在隐藏信息,都可以被视作非完备信息博弈。虚拟遗憾最小化算法(Counterfactual Regret Minimization,CFR)是目前解决大型、复杂非完备信息博弈最流行的方法之一。虽然CFR因其能够高效率地收敛到纳什均衡而被广泛使用,但传统CFR及其变种仍存在计算和存储资源消耗过大、无法有效求解大型博弈等问题。传统CFR能够求解的博弈问题规模有限,在应用于大型博弈时需要结合抽象技术。抽象技术不但需要领域专家知识、泛化性差,且需要存储与信息集总数大小相当的表格,存储资源消耗巨大。针对以上问题,本文提出回归抽象技术,使用神经网络作为回归器生成CFR算法迭代所需要的遗憾值。此种方式使得CFR算法不再需要存储大型表格,大大减少了算法的存储资源开销。同时利用神经网络良好的拟合能力也能够提升算法的通用性与泛化性。CFR的重要变种深度CFR虽然引入了神经网络增强了CFR算法的抽象能力,但其使用了优势值网络和策略网络两类网络,消耗的计算与存储资源过大,且算法生成的策略易被对手利用,质量较低。针对以上问题,本文对深度CFR算法做了改进,不同于深度CFR需要额外训练一个策略网络来生成最终策略,基于单估值网络的深度CFR直接从价值网络的缓冲区中生成最终策略,减少计算与存储开销的同时提高了最终策略的质量。为评估本文对CFR算法改进的有效性,本文在多种不同的非完备信息卡牌上进行了对比实验,并通过分析实验结果证明了改进的有效性。

关键词：机器博弈非完备信息虚拟遗憾最小化回归抽象估值网络

基于深度强化学习和博弈论的雷达抗干扰技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度强化学习和博弈论的雷达抗干扰技术研究

作者：张嘉华南京邮电大学

学位级别：硕士

作为探测和跟踪目标的主要设备,雷达在现代电子战中扮演着重要的角色。为了降低雷达的检测性能,对手通常采用干扰技术攻击雷达。如今,多样化和智能化的干扰手段使传统的雷达抗干扰方法难以应付,给雷达工作环境带来了巨大的挑战。随着人... 详细信息

作为探测和跟踪目标的主要设备,雷达在现代电子战中扮演着重要的角色。为了降低雷达的检测性能,对手通常采用干扰技术攻击雷达。如今,多样化和智能化的干扰手段使传统的雷达抗干扰方法难以应付,给雷达工作环境带来了巨大的挑战。随着人工智能的迅速发展,结合机器学习的雷达智能抗干扰技术得到了广泛研究,同时,机器博弈理论也被用于研究电子对抗博弈中。本文结合机器学习中的深度强化学习算法,联合自适应跳频和脉宽分配,提出一种智能抗干扰策略学习方法。并且针对具有自主学习能力的智能干扰机,进行关于雷达与干扰机间的博弈对抗研究。本文主要的研究工作总结如下:(1)针对雷达应对普通干扰机的问题,本文提出一种基于深度强化学习的联合自适应跳频和脉宽分配的雷达抗干扰策略学习方法,在有效应对外部恶意干扰的同时,提高雷达回波处理的积分效率和多普勒频率分辨率。首先,构建雷达抗干扰系统框架模型,将雷达状态作为深度强化学习的策略神经网络的输入,根据DQN算法中的动态ε贪婪算法进行动作选择,通过优化的脉冲发射频率和脉冲宽度选择实现抗干扰策略。然后,使用经验回放池,用来存储智能体先前的状态、行动、奖励以及下一个状态。在训练过程中,智能体从经验回放池中随机抽取一批数据,用于更新神经网络的参数。通过迭代训练,最终实现基于深度强化学习的联合自适应跳频和脉宽分配的雷达抗干扰智能决策方法。通过实验结果分析,本方法的雷达抗干扰性能优于随机跳频、Q学习等抗干扰手段。(2)针对雷达和智能干扰机对抗的问题,本文提出一种基于遗憾值折扣深度虚拟遗憾最小化算法的雷达抗干扰策略学习方法,雷达可以根据策略改变其载波频率。频率捷变雷达与智能干扰机之间的竞争可以看作是双方的非合作博弈,该博弈在不完美信息情况下存在多轮交互。以扩展式博弈为框架对雷达和智能干扰机的竞争过程建模,并且考虑博弈双方具有相同的智能化水平,以博弈树的形式对雷达和干扰机进行描述。由于博弈中的计算量随雷达脉冲的数量呈指数增长,因此传统的虚拟遗憾最小化算法难以求得纳什均衡策略。为此结合深度强化学习,用深度神经网络近似虚拟遗憾最小化算法的行为,并且加入遗憾折扣,加快了算法的收敛速度。最后通过实验结果分析,验证了该算法在近似寻找纳什均衡和获得最佳策略方面的有效性。

关键词：雷达抗干扰自适应跳频深度强化学习虚拟遗憾最小化遗憾值折扣

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机扑克智能博弈研究综述

网络与信息安全学报 2021年第5期7卷 57-76页

作者：袁唯淋廖志勇高巍魏婷婷罗俊仁张万鹏陈璟国防科技大学智能科学学院湖南长沙410073

计算机博弈是人工智能领域的“果蝇”,备受人工智能领域研究者的关注,已然成为研究认知智能的有利平台。扑克类博弈对抗问题可建模成边界确定、规则固定的不完美信息动态博弈,计算机扑克AI需要具备不完全信息动态决策、对手误导欺诈行... 详细信息

计算机博弈是人工智能领域的“果蝇”,备受人工智能领域研究者的关注,已然成为研究认知智能的有利平台。扑克类博弈对抗问题可建模成边界确定、规则固定的不完美信息动态博弈,计算机扑克AI需要具备不完全信息动态决策、对手误导欺诈行为识别以及多回合筹码和风险管理等能力。首先梳理了以德州扑克为代表的计算机扑克智能博弈的发展历程,其次针对计算机扑克智能博弈典型模型算法、关键技术以及存在的主要问题进行了综述分析,最后探讨了计算机扑克智能博弈的未来发展趋势和应用前景。

关键词：计算机扑克认知智能不完美信息博弈德州扑克虚拟遗憾最小化

在线全文

学校读者我要写书评

暂无评论

非完备信息机器博弈算法及对手模型的研究

非完备信息机器博弈算法及对手模型的研究

作者：吴天栋武汉理工大学

学位级别：硕士

随着计算机技术的发展,人工智能领域产生了一系列杰出的成果。尤其是在完备信息博弈方面,计算机通过博弈树搜索、动态规划、α-β减枝算法等经典方法已经可以解决大多数完备信息博弈问题。但是与完备信息博弈不同,在非完备信息博弈中参... 详细信息

随着计算机技术的发展,人工智能领域产生了一系列杰出的成果。尤其是在完备信息博弈方面,计算机通过博弈树搜索、动态规划、α-β减枝算法等经典方法已经可以解决大多数完备信息博弈问题。但是与完备信息博弈不同,在非完备信息博弈中参与者无法获取对手的全部信息,而且在博弈中的不确定性因素(例如随机风险、对手策略的调整、对手欺诈行为等)给研究工作带来了不少难题。本文以德州扑克为实验对象,研究非完备信息机器博弈中的算法,主要研究内容如下:首先,从德州扑克的博弈特性出发,分析了其博弈过程中的状态空间复杂度,介绍了经典的机器博弈算法,分析得出经典的博弈算法难以应用到德州扑克机的机器博弈中。针对现代主流的研究方法进行了归类,一类是基于纳什均衡策略的算法,另一类是对手建模方法。前者主要侧重于计算博弈中的纳什均衡策略,其中虚拟遗憾最小化算法是目前最主流的算法之一。后者旨在在博弈中利用对手的弱点,实现收益最大化。然后,深入研究了虚拟遗憾最小化算法,利用时序差分学习改进了该算法旨在提高算法的效率。针对德州扑克机器博弈中状态空间规模过于巨大的问题,提出了底牌抽象化技术与手牌评估算法简化了状态空间并基于改进的算法建立了机器博弈框架,介绍了详细的流程。同时,深入分析了传统的对手建模方法,研究表明传统的对手建模方法难以反映对手的策略特征与弱点。因此,本文利用新的数据特征改进了策略偏向的对手建模方法,改进的建模方法不仅仅可以反映对手的弱点还可以推理对手的手牌范围。基于改进的建模方法,建立了对手决策模型,通过期望值评估优化了对应策略。最后,设计了机器博弈实验验证本文中提出的算法以及经典算法,实验结果表明对比虚拟遗憾最小化算法,改进的虚拟遗憾最小化算法不仅仅运行效率高,在面对固定对手时收益值提高了25.8%,改进的策略偏向算法在面对各个类型的对手时都有较好的收益值,面对固定对手时,改进的策略偏向算法收益值是传统方法的2.23倍,在各类算法中最高。另外,本文提出的两种改进算法在与传统算法一对一博弈中也有不错的收益。

关键词：非完备信息机器博弈虚拟遗憾最小化对手建模

基于状态抽象和残局解算的二人非限制性德州扑克策略的研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于状态抽象和残局解算的二人非限制性德州扑克策略的研究

作者：胡开亮哈尔滨工业大学

学位级别：硕士

从上世纪四十年代计算机之父冯·诺依曼创建博弈论到2016年Deep Mind的Alpha Go智能体战胜人类顶尖围棋棋手李世石,机器博弈一直是人工智能领域热门的研究方向。机器博弈将计算机技术与博弈论知识相结合,以期待计算机能够像人类一样具... 详细信息

从上世纪四十年代计算机之父冯·诺依曼创建博弈论到2016年Deep Mind的Alpha Go智能体战胜人类顶尖围棋棋手李世石,机器博弈一直是人工智能领域热门的研究方向。机器博弈将计算机技术与博弈论知识相结合,以期待计算机能够像人类一样具备理性的决策能力。根据博弈双方是否了解局面的所有信息将机器博弈分为完备信息博弈与非完备信息博弈。在非完备信息博弈中由于部分信息未知,导致博弈过程中可能存在假象、骗术,大大增加问题的复杂度。德州扑克既具备非完备信息的特点,同时也是一款深受人们欢迎的扑克游戏。本文选择德州扑克作为研究非完备信息机器博弈的载体。目前,最高效求解非完备信息博弈的虚拟遗憾最小化算法只能求解游戏规模为1017的游戏,而二人非限制性德州扑克状态空间高达10165,故无法使用虚拟遗憾最小化算法(Counterfactual Regret Minimization,CFR)直接求解,针对此问题本文提出了解决方案。针对二人非限制性德州扑克状态空间巨大的问题,整合现有的手牌抽象算法,给出针对二人非限制性德州扑克的手牌抽象和动作抽象方案。通过抽象算法将原始博弈模型抽象成规模较小的博弈模型,规模较小的博弈模型依然保留了原始博弈模型在策略上的结构,再使用CFR算法求解出规模较小的博弈模型的近似纳什均衡解。针对基于抽象方法计算的策略在游戏中后期表现不佳的问题,提出游戏残局的策略实时求解方法。通过剖析有效牌力的计算方法和传统状态估计方法,给出基于手牌分布的中间状态收益估计方法,并利用世界计算机扑克博弈大赛(Annual Computer Poker Competition,ACPC)的历史对弈数据建立模型来预测对手手牌分布。通过使用CFR+算法和高效叶子结点收益评估等技术加速了策略的计算过程。本课题实现的智能体在2017年ACPC比赛的二人非限制性德州扑克项目中获得第三名。为了评估算法的有效性和收集对弈数据,本文遵循ACPC比赛平台相关规范开发了一套基于Web德州扑克人机对弈系统。

关键词：机器博弈德州扑克抽象算法残局解算虚拟遗憾最小化