检索结果-南通市图书馆

基于加权值函数分解的多智能体分层强化学习技能发现方法

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2023年第9期40卷 2743-2748,2754页

作者：邹启杰李文雪高兵赵锡玲张汝波大连大学信息工程学院辽宁大连116622 大连民族大学机电工程学院辽宁大连116600

针对目前大多数多智能体强化学习算法在智能体数量增多以及环境动态不稳定的情况下导致的维度爆炸和奖励稀疏的问题,提出了一种基于加权值函数分解的多智能体分层强化学习技能发现算法。首先,该算法将集中训练分散执行的架构与分层强化... 详细信息

针对目前大多数多智能体强化学习算法在智能体数量增多以及环境动态不稳定的情况下导致的维度爆炸和奖励稀疏的问题,提出了一种基于加权值函数分解的多智能体分层强化学习技能发现算法。首先,该算法将集中训练分散执行的架构与分层强化学习相结合,在上层采用加权值函数分解的方法解决智能体在训练过程中容易忽略最优策略而选择次优策略的问题;其次,在下层采用独立Q学习算法使其能够在多智能体环境中分散式地处理高维复杂的任务;最后,在底层独立Q学习的基础上引入技能发现策略,使智能体之间相互学习互补的技能。分别在简易团队运动和星际争霸Ⅱ两个仿真实验平台上对该算法与多智能体强化学习算法和分层强化学习算法进行对比,实验表明,该算法在奖励回报以及双方对抗胜率等性能指标上都有所提高,提升了整个多智能体系统的决策能力和收敛速度,验证了算法的可行性。

关键词：多智能体强化学习分层强化学习集中训练分散执行值函数分解技能发现

在线全文

学校读者我要写书评

暂无评论

基于轨迹信息量的分层强化学习方法

计算机科学 2023年第12期50卷 314-321页

作者：徐亚鹏刘全栗军伟苏州大学计算机科学与技术学院江苏苏州215006 苏州大学江苏省计算机信息处理技术重点实验室江苏苏州215006

基于option的分层强化学习(The Option-Based Hierarchical Reinforcement Learning,O-HRL)算法具有时序抽象的特点,可以有效处理强化学习中难以解决的长时序、稀疏奖励等复杂问题。目前O-HRL方法的研究主要集中在数据效率提升方面,通... 详细信息

基于option的分层强化学习(The Option-Based Hierarchical Reinforcement Learning,O-HRL)算法具有时序抽象的特点,可以有效处理强化学习中难以解决的长时序、稀疏奖励等复杂问题。目前O-HRL方法的研究主要集中在数据效率提升方面,通过提高智能体的采样效率以及探索能力,来最大化其获得优秀经验的概率。然而,在策略稳定性方面,由于在上层策略引导下层动作的过程中仅仅考虑了状态信息,造成了option信息的利用不充分,进而导致下层策略的不稳定。针对这一问题,提出了一种基于轨迹信息量的分层强化学习(Hierarchical Reinforcement Learning Method Based on Trajectory Information,THRL)方法。该方法利用option轨迹的不同类型信息指导下层动作选择,通过得到的扩展轨迹信息生成推断option。同时引入鉴别器将推断option与原始option作为输入,以获得内部奖励,使得下层动作的选择更符合当前option策略,从而解决下层策略不稳定的问题。将THRL算法以及目前优秀的深度强化学习算法应用于MuJoCo环境问题中,实验结果表明,THRL算法具有更好的稳定性以及性能表现,验证了算法的有效性。

关键词： option 分层强化学习轨迹信息鉴别器深度强化学习

在线全文

学校读者我要写书评

暂无评论

用于分层强化学习的最小k-聚类算法

合肥工业大学学报（自然科学版） 2006年第5期29卷 533-535页

作者：王本年铜陵学院计算机科学与技术系安徽铜陵244000

在学习过程中自动发现有用的Subgoal,对于分层强化学习有着重要的意义。文章提出了一种最小k-聚类算法,该算法能通过对在线获取的少量路径数据进行聚类的方法,抽取出有用的Subgoal;实验表明,该算法能有效地发现所有符合要求的Subgoal,... 详细信息

在学习过程中自动发现有用的Subgoal,对于分层强化学习有着重要的意义。文章提出了一种最小k-聚类算法,该算法能通过对在线获取的少量路径数据进行聚类的方法,抽取出有用的Subgoal;实验表明,该算法能有效地发现所有符合要求的Subgoal,较多样性密度算法和FD算法有更强的Subgoal发现能力。

关键词： k-聚类算法分层强化学习子目标

多agent分层强化学习在数据定位中的应用研究

在线全文

学校读者我要写书评

暂无评论

计算机应用研究 2020年第12期37卷 3635-3639页

作者：洪壮壮万仲保张薇黄兆华华东交通大学软件学院南昌330013

为了在领域文本中实现数据定位,将文本视为环境,针对文本环境中存在的动态性以及不确定性等问题,提出了基于多agent分层强化学习的数据定位方法。该方法利用分层结构的特点,将系统任务分解为多个子任务,个体agent分别对对应子任务学习,... 详细信息

为了在领域文本中实现数据定位,将文本视为环境,针对文本环境中存在的动态性以及不确定性等问题,提出了基于多agent分层强化学习的数据定位方法。该方法利用分层结构的特点,将系统任务分解为多个子任务,个体agent分别对对应子任务学习,以此将策略更新限制在规模较小的局部空间;同时利用多agent系统中单agent与系统远期目标的同一性,引入策略协调机制,通过agent之间交换信息来发现趋势性信息,并利用shaping技术,将在线获取的动态知识对各个agent进行趋势性启发,加快agent的收敛速度。实验将该方法应用于司法领域的判决文书上,实验结果表明:该方法能够在大规模复杂未知的文本环境中对目标数据进行高效准确定位,平均准确率与F值能够达到96.6%和98.2%,且具有较好的收敛速度。因此可以看出,该方法能够很好地在领域文本中实现数据定位,具有较大的理论以及实际意义。

关键词：数据定位文本环境分层强化学习多agent系统策略协调 shaping技术

基于分层强化学习的联合作战仿真作战决策算法

在线全文

学校读者我要写书评

暂无评论

火力与指挥控制 2021年第10期46卷 140-146页

作者：于博文吕明张捷南京理工大学南京210094

如何对复杂装备体系进行有效的认知决策,一直以来都是联合作战研究领域中的热点与难点,采用一种具有较强适应性的决策算法,对于应对战场突发状况具有重要意义。通过结合近端策略优化和分层强化学习,提出了一种基于分层强化学习的联合作... 详细信息

如何对复杂装备体系进行有效的认知决策,一直以来都是联合作战研究领域中的热点与难点,采用一种具有较强适应性的决策算法,对于应对战场突发状况具有重要意义。通过结合近端策略优化和分层强化学习,提出了一种基于分层强化学习的联合作战仿真作战决策算法,以空地一体化联合作战为背景进行作战想定,结合自主设计的作战原型系统,分析了武器装备体系作战决策流程,对分层强化学习的层次结构、奖励函数的设计、决策网络结构和训练方法进行了详细说明。通过自主开发的仿真平台对算法的有效性进行验证,为联合作战中指挥决策的适应性机制问题提供较为有效的解决方法和辅助参考价值。

关键词：联合作战作战仿真作战决策分层强化学习近端优化

在线全文

学校读者我要写书评

暂无评论

基于分层强化学习的智能化攻击路径发现方法

计算机科学 2023年第7期50卷 308-316页

作者：曾庆伟张国敏邢长友宋丽华陆军工程大学指挥控制工程学院南京210007

智能化攻击路径发现是开展自动化渗透测试的一项关键技术,但现有方法面临着状态、动作空间呈指数型增长和奖励稀疏等问题,导致算法难以收敛。为此,提出了一种基于分层强化学习的智能化攻击路径发现方法iPathD(Intelligent Path Discove... 详细信息

智能化攻击路径发现是开展自动化渗透测试的一项关键技术,但现有方法面临着状态、动作空间呈指数型增长和奖励稀疏等问题,导致算法难以收敛。为此,提出了一种基于分层强化学习的智能化攻击路径发现方法iPathD(Intelligent Path Discovery)。iPathD将攻击路径发现过程构建为一个分层的马尔可夫决策过程,以分别描述上层的主机间渗透路径发现和下层的单主机内部攻击路径发现,并在此基础上提出并实现了一种基于分层强化学习的攻击路径发现算法。实验结果表明,与传统基于DQN(Deep Q Learning)及其改进算法的方法相比,iPathD路径发现方法更加快速有效,并且随着主机中漏洞数目的增加,iPathD的效果更好,且适用于大规模的网络场景。

关键词：渗透测试马尔可夫决策过程分层强化学习攻击路径发现 DQN算法

在线全文

学校读者我要写书评

暂无评论

基于动作抽象的分层强化学习算法研究

基于动作抽象的分层强化学习算法研究

作者：许志鹏苏州大学

学位级别：硕士

强化学习可以通过与环境交互完成自主学习与优化,是一类重要的机器学习方法。然而强化学习也存在若干难点亟待解决,如“维数灾难”问题,在提高算法效果的前提下同时提高算法效率等。作为强化学习中的一个重要领域,分层强化学习将学习任... 详细信息

强化学习可以通过与环境交互完成自主学习与优化,是一类重要的机器学习方法。然而强化学习也存在若干难点亟待解决,如“维数灾难”问题,在提高算法效果的前提下同时提高算法效率等。作为强化学习中的一个重要领域,分层强化学习将学习任务分解成多个子任务然后分别求解,可以有效地解决强化学习问题中的“维数灾难”问题并提高算法效率。抽象机制是分层强化学习主要实现方法,包括动作抽象、任务抽象和状态抽象。本文围绕如何快速高效地发现抽象动作以及如何高效地利用好抽象动作展开研究,提出了几种控制优化和自动发现抽象动作的分层强化学习算法,主要包括以下三部分内容:（1）经典的基于Option框架的抽象动作方法不能很好解决动态环境下的学习和控制问题,针对此问题,本文提出一种在线学习的使用可中断动作抽象的算法（Interrupting Macro-Q,IMQ）。IMQ通过原有抽象动作算法基础上引入中断,能够有效解决动态环境下一般强化学习算法由于时间复杂度过高而不能解决的问题。IMQ算法将中断的思想与动态环境的特性相结合,在动态的环境下学习并改进控制策略,提高了算法的学习和控制效率。（2）基于多样性密度度量方法的抽象动作发现算法轨迹采样噪声大,导致Agent识别子目标时间长且学习效果差,针对此问题,本文提出一种采用无环轨迹降噪的多样性密度度量抽象动作发现算法。该算法对Agent得到的轨迹样本进行降噪处理,达到减少学习时间和优化抽象动作的效果。该算法避免了过度采样导致的计算量过大的问题,不但能够大大降低识别子目标所需要的时间,而且能够发现较好的抽象动作,提高了算法的学习效率。（3）传统的基于离散时间半马尔科夫决策过程（Discrete-time Semi-Markov Decision Processes,DT-SMDP）的自动分层强化学习方法无法直接用于解决连续时间无穷任务,针对此问题,本文提出一种基于连续时间半马尔科夫决策过程（Continues-time Semi-Markov Decision Processes,CT-SMDP）的自动分层强化学习方法,该方法可用于解决连续时间无穷任务的自动分层问题。实验表明,在求解连续时间任务时,该算法具有很好的学习和控制效果。

关键词：分层强化学习 Option 抽象自动分层

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于技能发现的多任务分层强化学习研究

基于技能发现的多任务分层强化学习研究

作者：丁矾苏州大学

学位级别：硕士

强化学习被广泛应用在机器人控制等领域,并取得了优异的表现。但其仍受大规模空间、样本利用率低、奖励稀疏延迟和泛化性差等问题的困扰。在多任务场景下,这些问题不仅变得更为严重,而且带来了新的问题-灾难性遗忘。分层强化学习通过将... 详细信息

强化学习被广泛应用在机器人控制等领域,并取得了优异的表现。但其仍受大规模空间、样本利用率低、奖励稀疏延迟和泛化性差等问题的困扰。在多任务场景下,这些问题不仅变得更为严重,而且带来了新的问题-灾难性遗忘。分层强化学习通过将复杂任务分解为多个简单子任务,并抽象出一系列子策略(选项)来缓解强化学习中出现的各种问题。但其子策略是在任务环境定义的外部奖励函数的指导下学习而来,具有明确的目的性,只能用来完成特定的任务。在多任务场景下,此类子策略在其他任务中往往难以利用。而技能发现算法则通过屏蔽任务相关的外部奖励函数,利用信息论中的互信息与信息熵来生成内部奖励函数,以激励智能体探索全部空间,从而生成多样且不以任务为导向的子策略(技能),以满足不同任务需要。本文基于此,提出了基于技能发现的多任务分层强化学习研究,目的是结合分层强化学习和技能发现算法的优点,来促进多任务场景下智能体性能的提升。研究内容主要包括以下三个部分:(1)设计了基于技能的多任务分层强化学习框架。利用该框架,智能体能够自动地从源环境中提取包含着相关知识的通用技能,缓解多任务学习中出现的遗忘问题。再结合分层控制的方式实现在下游任务中对知识的重用,从而在降低任务问题复杂度的同时提高多任务学习中的样本利用率。此外,保存技能的技能库可随任务量的增加进行扩展,以满足越来越多的任务需求;(2)提出了多任务分层强化学习框架下的独立技能发现算法。首先通过公式推导出技能策略特征与状态和动作之间关系,随后利用特征提取算法将各原始技能的策略提取出来,然后对其进行聚类分析,筛选出其中存在相似功能的技能集合,最后通过最优策略蒸馏算法将相似的技能聚合为一个“集各家之长”的新独立技能。以此来消除技能库中的冗余部分,并提高技能策略的质量,使其在下游任务中获得更好的表现;(3)提出了多任务分层强化学习框架下的自适应技能发现算法。该算法将任务信息编码进输入中,并结合元强化学习思想,通过多个训练器共同训练一个任务共享的梯度预测器,利用此梯度预测器输出的梯度指导技能策略的更新。借助此方法可以使得原本无奖励函数指导的无监督技能在迁移到下游任务时,可以根据任务需要自适应改变内部策略,从而更好更快地进行训练。针对以上每个方法,本文均通过实验分析验证了其可行性。并与其他相关算法进行对比,进一步展现本文研究所提方法性能上的优越性。

关键词：分层强化学习多任务学习技能发现独立技能自适应技能

能量收集无线通信中基于分层强化学习的接入控制策略研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

能量收集无线通信中基于分层强化学习的接入控制策略研究

作者：王英恺合肥工业大学

学位级别：硕士

无线通信系统中所使用的能量收集技术特指从其所处的周围环境中收集绿色可再生能量以供自身所使用的技术。在无线通信系统中应用能量收集技术不仅可以使其摆脱对有限电缆的依赖,同时也降低无线通信网络的运营成本并且减少传统能源消耗... 详细信息

无线通信系统中所使用的能量收集技术特指从其所处的周围环境中收集绿色可再生能量以供自身所使用的技术。在无线通信系统中应用能量收集技术不仅可以使其摆脱对有限电缆的依赖,同时也降低无线通信网络的运营成本并且减少传统能源消耗实现无线通信网络的绿色运行。但由于能量收集量技术中的能量收集过程受环境影响较大,同时无线通信系统的运行环境中总是伴随着动态时变的无线信道衰落的干扰,普遍存在的高度动态环境使得环境先验信息异常难以获得。但传统接入控制策略普遍是基于环境先验信息的,因而在环境先验知识缺失的情况下难以适应动态环境因而无法获得理想效果。恰巧强化学习是一种近些年兴起的不依赖模型的学习算法,通过智能体与环境的交互根据环境返回奖励为动作的选取做出决策,具有不依赖环境先验知识的特点,十分适合高度动态的能量收集无线通信系统中的接入控制场景。本文的研究内容为针对在未知环境条件下的能量收集无线通信系统的接入控制策略并以提高长期吞吐量为核心优化目标。本文的工作分成两部分:1)对描述的能量收集无线通信系统进行了基于马尔可夫决策过程的建模并研究了以最大化无线通信系统的平均吞吐量为目标的优化问题。考虑到系统可再生收集能量到达过程和多变的快衰落通信信道等环境先验知识未知,我们提出了一种端到端的基于强化学习的接入控制框架以适应无环境先验知识的情况。具体来说,本文使用了深度Q网络算法,根据系统约束和当前环境状态等信息集中动态地找到每一个时隙中用户和信道的长期最优信道-用户实时匹配策略以提高总平均系统吞吐量。仿真实验验证了,在不同的实验环境中,我们所提出的基于端到端强化学习方案均在长期总吞吐量这个性能指标是上优于其他参与比较的传统接入控制策略。2)为了克服端到端深度强化学习算法状态空间和动作空间随实际系统规模的增长而指数增长进而消耗大量的算力和储存空间的弊端,我们基于分层强化学习的思想并结合实际的系统架构,提出了一种基于分层强化学习的接入控制策略来克服基于强化学习的接入控制无法在大规模环境中高效运行的弊端。基于分层强化学习算法的框架将原用户信道接入控制问题分解成了两个层次的子控制问题,分别是上游信道选择问题和下游信道匹配问题。通过求解上游子问题并把已求解的子问题结果作为先验指导加入到待求解下游子问题中再对待求解子问题进行求解,实现减少原问题规模的目标。分层强化学习架构最终通过组合两个子问题的方案,实现对原问题的间接求解。相比于前文提出的端到端的强化学习算法,这种分层架构有效地对原问题进行了分而治之,巧妙回避了传统强化学习的维度灾难问题。在此基础之上,我们还基于现有的系统动力学知识提出了一个确定性动作搜索策略以进一步加速智能体的学习效率。最后在仿真实验结果中可以看出,与传统深度强化学习框架相比,我们所提出分层强化学习框架在大规模系统状态下有着更好的表现。

关键词：能量收集分层强化学习接入控制马尔科夫决策过程