检索结果-南通市图书馆

维普期刊数据库

基于信度分配的并行集成CMAC及其在建模中的应用

在线全文

学校读者我要写书评

暂无评论

控制理论与应用 2010年第2期27卷 211-215页

作者：潘晔顾幸生卢胜利华东理工大学自动化研究所上海200237 天津工程师范学院自动化工程系天津300222

Albus CMAC(cerebella model articulation controller)神经网络是一种模拟人类小脑学习结构的小脑模型关节控制器,它具有很强的记忆与输出泛化能力,但对于在线学习来说,Albus CMAC仍难满足快速性的要求.本文在常规CMAC神经网络的基础上... 详细信息

Albus CMAC(cerebella model articulation controller)神经网络是一种模拟人类小脑学习结构的小脑模型关节控制器,它具有很强的记忆与输出泛化能力,但对于在线学习来说,Albus CMAC仍难满足快速性的要求.本文在常规CMAC神经网络的基础上,针对其在学习精度与存储容量之间的矛盾,引入信度分配概念,提出了一种基于信度分配的并行集成CMAC.它将大规模网络切割为多个子网络分别训练后再组合,大大地提高了计算效率.通过对复杂非线性函数建模的仿真研究表明,该方案提高了系统建模的泛化能力和算法的收敛速度.文章最后讨论了学习常数和泛化参数对该神经网络在线学习效果的影响.

关键词：小脑模型关节控制器(CMAC) 信度分配并行神经网络集成建模

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于信度分配的多智能体强化学习研究

基于信度分配的多智能体强化学习研究

作者：叶津凌长沙理工大学

学位级别：硕士

强化学习并不需要环境模型,通过智能体和所在的环境的自主交互进行学习。现已成为多智能体系统与机器学习等领域的研究热点。多智能体系统常被应用于开放、复杂和动态变化的环境,单个的智能体的能力已经不能够胜任所面临的任务,不仅是... 详细信息

强化学习并不需要环境模型,通过智能体和所在的环境的自主交互进行学习。现已成为多智能体系统与机器学习等领域的研究热点。多智能体系统常被应用于开放、复杂和动态变化的环境,单个的智能体的能力已经不能够胜任所面临的任务,不仅是具有相同目标的系统,而且还有相异目标的系统。同时,智能体还必须具备学习的能力以适应环境的动态变化。但是传统的单智能体学习原理并不适用于多智能体环境,多智能体强化学习的框架为马尔可夫对策,本文在研究对策论理论基础的同时围绕多智能体强化学习中出现的时间信度分配问题与结构信度分配问题,提出了新的学习方法。本文中采取的实验平台是VC#.NET,研究对象为追逐对策问题。将多个猎人智能体与一个猎物的追逐对策问题看成是具有两个局中人的离散动态对策问题,考虑了距离影响、走步影响和信度分配三个因素,构造了信度分配函数,并且通过计算各种可能的策略下猎人对逃跑者的距离来分配各种信度,包括时间信度和结构信度,并得到猎人的支付矩阵,求解该矩阵即可得到每次走步时双方的最优策略。以此作为双方策略的数学模型,并在此基础上提出了基于信度分配的多智能体强化学习算法本文的研究成果与创新见解是:●深入分析了多智能体强化学习算法及研究现状并作出了一定的比较;●结合在此方面同行所做的前沿工作,提出了新的基于信度分配的多智能体强化学习算法。●通过实例分析与仿真验证证明了其算法的收敛性和有效性。

关键词：多智能体强化学习信度分配马尔可夫对策追逐对策

基于新颖性信度分配的多智能体强化学习探索技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于新颖性信度分配的多智能体强化学习探索技术研究

作者：董一臻天津大学

学位级别：硕士

稀疏奖赏环境在现实场景中十分常见,如何让强化学习算法在稀疏奖赏环境下能够取得良好效果是一个被广泛研究的课题。面对稀疏奖赏的挑战,一个被广泛使用的方法是给智能体设计内在奖赏,使它能够探索更多的未知状态空间并获得潜在的环境奖... 详细信息

稀疏奖赏环境在现实场景中十分常见,如何让强化学习算法在稀疏奖赏环境下能够取得良好效果是一个被广泛研究的课题。面对稀疏奖赏的挑战,一个被广泛使用的方法是给智能体设计内在奖赏,使它能够探索更多的未知状态空间并获得潜在的环境奖赏,利用这种方法,前人提出了许多在单智能体环境下的强化学习探索算法,并取得了非常好的效果。本文研究的是在多智能体稀疏奖赏环境下的强化学习的探索难题,但直接将单智能体强化学习探索方法迁移到多智能体环境中会导致探索效率低下、冗余探索等问题,例如如果所有智能体都用相同的内在奖赏来探索,那么就缺乏了对不同智能能体的探索能力的区分,再或者所有智能体单独对环境进行探索,则缺乏合作。于是本文针对多智能体系统的特性提出一种全新的内在奖赏信度分配机制来解决上述问题。本工作提出了一种多智能体强化学习内在奖赏分配机制,Intrinsic-MotivationCredit-Assignment(IMCA),旨在给多智能体系统中的每个智能体提供独特的内在奖赏,促使智能体对未知环境进行探索。具体来说,IMCA根据整个多智能体系统的状态-动作对的新颖性设计全局内在奖赏,并根据每个智能体对全局新颖性的贡献程度对全局内在奖赏进行分配,不同大小的内在奖赏对应不同程度的探索能力,智能体用分配过后的内在奖赏结合环境奖赏进行训练,以达到协同探索的目的。另外,针对同质多智能体系统的特性,本文提出了对全局新颖性评估函数的置换不变的更新规则,以给多智能体提供更加准确的新颖性评估,从而给每个智能体计算更加精准的探索奖赏。IMCA能够很方便地和现有深度强化学习算法相结合,本工作在三个合作式多智能体环境下验证了IMCA的有效性,实验表明,在具有挑战的多智能体稀疏奖赏环境下,IMCA能够极大程度地提高多智能体深度强化学习算法的探索能力,并表现出良好的性能。

关键词：多智能体探索强化学习信度分配

基于信度分配的改进型超闭球小脑神经网络风速预测模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于信度分配的改进型超闭球小脑神经网络风速预测模型

作者：单衍安太原理工大学

学位级别：硕士

开发与利用新能源是我国乃至全世界21世纪的重要能源战略。风能作为一种无污染、可再生能源,已受到越来越广泛的重视,并迅速发展成为新型能源之一。目前,开发利用风能的主要形式是大规模并网发电。由于风具有间歇性、随机性和不确定性... 详细信息

开发与利用新能源是我国乃至全世界21世纪的重要能源战略。风能作为一种无污染、可再生能源,已受到越来越广泛的重视,并迅速发展成为新型能源之一。目前,开发利用风能的主要形式是大规模并网发电。由于风具有间歇性、随机性和不确定性的特点,给风力发电的并网、输电网的安全、稳定运行及电量负荷的调度带来很大的困难,限制了风力发电的大规模开发。准确预测风速有助于调度人员对电网的正常的调度,是解决该问题的有效途径之一。本论文在国家自然科学基金项目(编号：51277127)的资助下,研究并提出了一种基于信度分配的改进型超闭球小脑神经网络(CA-IHCMAC: Improved Hyperball Cerebellar Model Articulation Controller with Credibility Assignment)风速预测模型。信度分配算法根据存储单元激活的次数求出存储单元的可信度,在神经网络训练过程中根据存储单元的可信度来调整存储单元的权值。本文采用CA-HCMAC神经网络建立了风速预测模型,预测未来1h的风速。本文的主要研究内容如下： (1)阐述课题研究的背景和意义,分析了风速预测建模的研究现状,总结了目前风速预测建模的主要方法及风速预测存在的问题。 (2)本文在超闭球小脑神经网络(HCMAC:Hyperball Cerebellar Model Articulation Controller)基础上引入信度分配的概念,提出了基于信度分配的超闭球小脑神经网络(CA-HCMAC)。研究发现HCMAC在训练过程中,最小方差算法(LSM)存在后面存储单元权值的调整对前面已经学习过的存储单元的权值产生“腐蚀现象”。为了避免“腐蚀现象”,本文引入了一种信度分配算法。该算法根据存储单元的可信度来调整存储单元在权值调整中得到的误差。根据可信度公式可知,存储单元激活的次数越多,其可信度越高,误差调整就越小。 (3)为了避免基于信度分配超闭球神经网络参数选取的盲目性,本文提出CA-IHCMAC神经网络。本文采用粒子群优化算法来确定CA-HCMAC参数σ和ρ的最优值,提出了一种基于信度分配的改进型超闭球小脑神经网络(CA-IHCMAC:Improved Hyperball Cerebellar Model Articulation Controller with Credibility Assignment),不仅减少了选择参数σ和ρ最优值的时间,而且粒子群优化确定的参数σ和ρ的值更精确,提高了神经网络预测精度。 (4) CA-IHCMAC神经网络输入变量的确定。本文以山西神池风电场风速数据作为训练样本来训练神经网络,并验证神经网络预测精度。本文利用时间序列模型来分析未来风速与跟其邻近历史风速的内在规律,找出历史风速数据与预测风速的内在联系。利用时间序列建立的平稳时间序列模型来确定CA-IHCMAC输入变量个数。 (5)采用基于信度分配的改进型超闭球小脑神经网络建立风速预测模型。利用MATLAB仿真平台进行仿真,结果表明,基于信度分配的改进型超闭球小脑神经网络预测模型对风速进行预测是可行的和有效的。

关键词：信度分配超闭球小脑神经网络粒子群优化算法风速预测时间序列

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

合作式多智能体系统下的信度分配技术研究

合作式多智能体系统下的信度分配技术研究

作者：杨耀东天津大学

学位级别：硕士

信度分配技术涉及确定系统组件对系统整体性能的贡献,强化学习的成功离不开信度分配技术。在多智能体强化学习领域信度分配主要是合作式环境下各智能体对全局奖励信号的分配。通过研究信度分配机制,来完善或解决合作式多智能体深度强化... 详细信息

信度分配技术涉及确定系统组件对系统整体性能的贡献,强化学习的成功离不开信度分配技术。在多智能体强化学习领域信度分配主要是合作式环境下各智能体对全局奖励信号的分配。通过研究信度分配机制,来完善或解决合作式多智能体深度强化学习下单个智能体策略更新信号不准确的问题,从而达到提高多智能体学习效率和协作程度的目的。因此,多智能体信度分配是解决合作式多智能体协调问题的关键。然而,一方面之前的研究大多基于差异奖励来减少动作的噪声,需要指定默认的状态或动作,计算开销大的问题且实验环境较为简单导致实际应用受限。本文针对智能电网下的区域电力零售市场代理设计和大规模家庭用户用电优化两个真实的场景,对现有的差异奖励技术进行应用和改进,大大提升实际场景中的多智能体系统的协调程度,解决了智能电网下的实际问题。另一方面,最新的基于深度学习的多智能体信度分配算法也存在设计或者理论的不足。COMA利用了所有动作值对的加权平均避免了默认动作的问题,但是它采用遵循策略的方式导致采样效率较低,并且其评论者结构不适合大规模多智能体系统。基于值分解的VDN和QMIX限制了个体Q值和整体Q值的关系形式和泛化性。同时这些多智能体信度分配技术并未有效考虑异质多智能体系统。本文结合深度学习的最新进展,提出了信度分配的新方法,有效解决异质多智能体系统中的协调问题。

关键词：信度分配多智能体系统强化学习智能电网

基于信度分配的并行集成CMAC及其在建模中的应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于信度分配的并行集成CMAC及其在建模中的应用

基于异步合作更新的LSTM-MADDPG多智能体协同决策算法

2009年中国智能自动化会议

作者：潘晔顾幸生卢胜利华东理工大学自动化研究所天津工程师范学院自动化工程系

关键词：小脑模型关节控制器(CMAC) 信度分配并行神经网络集成建模

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

吉林大学学报（工学版） 2024年第3期54卷 797-806页

作者：高敬鹏王国轩高路哈尔滨工程大学信息与通信工程学院哈尔滨150001 北京航天长征飞行器研究所试验物理与计算数学国家级重点实验室北京100076

针对完全合作型任务中,多智能体深度确定性策略梯度(MADDPG)算法存在信度分配以及训练稳定性差的问题,提出了一种基于异步合作更新的LSTM-MADDPG多智能体协同决策算法。基于差异奖励和值分解思想,利用长短时记忆(LSTM)网络提取轨迹序列... 详细信息

针对完全合作型任务中,多智能体深度确定性策略梯度(MADDPG)算法存在信度分配以及训练稳定性差的问题,提出了一种基于异步合作更新的LSTM-MADDPG多智能体协同决策算法。基于差异奖励和值分解思想,利用长短时记忆(LSTM)网络提取轨迹序列间特征,优化全局奖励划分方法,实现各智能体的动作奖励分配;结合算法联合训练需求,构建高质量训练样本集,设计异步合作更新方法,实现LSTM-MADDPG网络的联合稳定训练。仿真结果表明,在协作捕获场景中,本文算法相较于QMIX的训练收敛速度提升了20.51%;所提异步合作更新方法相较于同步更新,归一化奖励值均方误差减小了57.59%,提高了算法收敛的稳定性。

关键词：人工智能多智能体协同决策深度强化学习信度分配异步合作更新

维普期刊数据库博看期刊

基于异步合作更新的LSTM-MADDPG多智能体协同决策算法

在线全文

学校读者我要写书评

暂无评论

吉林大学学报(工学版) 2022年

作者：高敬鹏王国轩高路哈尔滨工程大学信息与通信工程学院北京航天长征飞行器研究所试验物理与计算数学国家级重点实验室

针对完全合作型任务中，多智能体深度确定性策略梯度(Multi-Agent Deep Deterministic Policy Gradient，MADDPG)算法存在信度分配以及训练稳定性差问题，提出了一种基于异步合作更新的LSTM-MADDPG多智能体协同决策算法。基于差异奖励... 详细信息

针对完全合作型任务中，多智能体深度确定性策略梯度(Multi-Agent Deep Deterministic Policy Gradient，MADDPG)算法存在信度分配以及训练稳定性差问题，提出了一种基于异步合作更新的LSTM-MADDPG多智能体协同决策算法。基于差异奖励与值分解思想，利用长短时记忆(Long Short-Term Memory， LSTM)网络提取轨迹序列间特征，优化全局奖励划分方法，实现各智能体的动作奖励分配；结合算法联合训练需求，构建高质量训练样本集，设计异步合作更新方法，实现LSTM-MADDPG网络的联合稳定训练。仿真结果表明，在协作捕获场景中，所提算法相较于QMIX的训练收敛速度提升了20.51%；所提异步合作更新方法相较于同步更新，归一化奖励值均方误差减小了57.59%，提高了算法收敛的稳定性。

关键词：人工智能多智能体协同决策深度强化学习信度分配异步合作更新

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于深度强化学习的多智能体协同策略研究

基于深度强化学习的多智能体协同策略研究

作者：李欢电子科技大学

学位级别：硕士

随着深度强化学习的快速发展,越来越多的学者开始将研究方向由单智能体转为多智能体方向。由多智能体系统环境的特殊性,不可避免地会产生各种各样的挑战,包括环境的非平稳性,智能体间的通信效率低,信度难以合理分配等问题。解决这些问... 详细信息

随着深度强化学习的快速发展,越来越多的学者开始将研究方向由单智能体转为多智能体方向。由多智能体系统环境的特殊性,不可避免地会产生各种各样的挑战,包括环境的非平稳性,智能体间的通信效率低,信度难以合理分配等问题。解决这些问题对智能体间协同效率的提升有着十分重要的作用。为了更好的促进智能体间信息的交流与智能体间的信度分配,本文在中心化训练和去中心化执行(Centralized Training with Decentralized Execution,CTDE)的框架下,对智能体策略网络与值函数分解的方法展开了如下研究:(1)针对通信问题,在策略网络处引入了多头注意力机制,它使用多个不同注意力头分析了来自不同智能体间的输入信息,智能体能够对不同输入信息给与不同权重,以此来进行更优的决策。在得到不同头的合并结果的基础上,再与门限循环单元(Gated Recurrent Unit,GRU)通道处理过的信息进行合并,保证信息交流的基础上还能记住历史的重要信息。最后在混合网络处结合了先进的基于多头注意力机制值函数分解的Qatten框架,在星际争霸II微管理协同任务中进行的实验表明,提出的算法可以有效的促进智能体间信息的交流。(2)针对信度分配问题,在混合网络处线性的结合了QMIX与QPLEX算法,以此来增加混合网络的表达能力,进行合理的信度分配。同时,在GRU与多层感知机(Multilayer Perceptron,MLP)组成的策略网络的基础上,增加了一个残差结构,使得智能体能够利用更多的信息来进行决策。之后,为了使得整体的算法表现更加稳定,在Loss函数处增加了一个正则化项,用来惩罚与未来T步累积回报相差较大的联合动作Q值。最后在星际争霸II微管理任务与难度提升的捕食者-猎物环境上的实验表明,本文提出的算法可以有效帮助智能体进行决策与信度分配。(3)在上述工作的基础上,本文还将多头注意力模块与带残差结构的策略网络模块结合,提出了带注意力的残差策略网络,结合混合Q网络后在星际争霸II上的实验证明也可以有效促进智能体间的协作能力。

关键词：深度强化学习多智能体协同策略注意力机制信度分配