检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

随机权神经网络研究现状与展望

智能系统学报 2016年第6期11卷 758-767页

作者：乔俊飞李凡军杨翠丽北京工业大学信息学部计算智能与智能系统北京市重点实验室济南大学数学科学学院

神经网络随机学习克服了传统梯度类算法所固有的收敛速度慢及局部极小问题,最近已成为神经网络领域的研究热点之一。基于随机学习的思想,人们设计了不同结构的随机权神经网络模型。本文旨在回顾总结随机权神经网络的研究现状基础上,给... 详细信息

神经网络随机学习克服了传统梯度类算法所固有的收敛速度慢及局部极小问题,最近已成为神经网络领域的研究热点之一。基于随机学习的思想,人们设计了不同结构的随机权神经网络模型。本文旨在回顾总结随机权神经网络的研究现状基础上,给出其发展趋势。首先,提出随机权神经网络简化模型,并基于简化模型给出神经网络随机学习算法;其次,回顾总结随机权神经网络研究现状,基于简化模型分析不同结构随机权神经网络的性能及随机权初始化方法;最后,给出随机权神经网络今后的发展趋势。

关键词：随机权神经网络前馈神经网络递归神经网络级联神经网络随机学习算法

集成自编码与PCA的高炉多元铁水质量随机权神经网络建模

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

自动化学报 2018年第10期44卷 1799-1811页

作者：周平张丽李温鹏戴鹏柴天佑东北大学流程工业综合自动化国家重点实验室沈阳110819

针对随机权神经网络(Random vector functional-link networks, RVFLNs)建模存在的过拟合和泛化能力差的问题,集成自编码(Autoencoder)和主成分分析(Principal component analysis, PCA)技术,提出一种新型的改进RVFLNs算法,即AE-P-RVFLNs算法,用于建立高炉多元铁水质量在线估计的NARX (Nonlinear autoregressive exogenous)模型.首先,为了尽可能挖掘实际复杂工业数据中的有用信息和充分揭示输入数据之间的内在关系,采用Autoencoder前馈随机网络技术训练建模输入数据,并将训练得到的输出权值作为后续RVFLNs的输入权值;然后,引入PCA技术对RVFLNs的高维隐层输出矩阵进行降维,避免隐层输出矩阵多重共线性问题,从而解决由于隐层节点过多导致模型过拟合的问题;最后,基于所提AE-P-RVFLNs算法建立某大型高炉多元铁水质量在线估计的NARX模型.工业实验和比较分析表明:采用本文算法建立的多元铁水质量在线估计模型可有效提高运算效率和估计精度,尤其是避免常规RVFLNs建模存在的过拟合问题.

关键词：随机权神经网络 AE-P-RVFLNs 自编码主成分分析 NARX建模高炉炼铁过拟合

一种基于随机权神经网络的类增量学习与记忆融合方法

在线全文

学校读者我要写书评

暂无评论

自动化学报 2023年第12期49卷 2467-2480页

作者：李德鹏曾志刚华中科技大学人工智能与自动化学院武汉430074 华中科技大学人工智能研究院武汉430074 图像信息处理与智能控制教育部重点实验室武汉430074

连续学习(Continual learning,CL)多个任务的能力对于通用人工智能的发展至关重要.现有人工神经网络(Artificial neural networks,ANNs)在单一任务上具有出色表现,但在开放环境中依次面对不同任务时非常容易发生灾难性遗忘现象,即联结... 详细信息

连续学习(Continual learning,CL)多个任务的能力对于通用人工智能的发展至关重要.现有人工神经网络(Artificial neural networks,ANNs)在单一任务上具有出色表现,但在开放环境中依次面对不同任务时非常容易发生灾难性遗忘现象,即联结主义模型在学习新任务时会迅速地忘记旧任务.为了解决这个问题,将随机权神经网络(Random weight neural networks,RWNNs)与生物大脑的相关工作机制联系起来,提出一种新的再可塑性启发的随机化网络(Metaplasticity-inspired randomized network,MRNet)用于类增量学习(Class incremental learning,Class-IL)场景,使得单一模型在不访问旧任务数据的情况下能够从未知的任务序列中学习与记忆融合.首先,以前馈方式构造具有解析解的通用连续学习框架,用于有效兼容新任务中出现的新类别;然后,基于突触可塑性设计具备记忆功能的权值重要性矩阵,自适应地调整网络参数以避免发生遗忘;最后,所提方法的有效性和高效性通过5个评价指标、5个基准任务序列和10个比较方法在类增量学习场景中得到验证.

关键词：连续学习灾难性遗忘随机权神经网络再可塑性启发

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于自组织随机权神经网络的BOD软测量

北京工业大学学报 2016年第10期42卷 1451-1460页

作者：乔俊飞鞠岩韩红桂北京工业大学电子信息与控制工程学院北京100124

针对污水处理复杂系统中关键水质参数生化需氧量(biochemical oxygen demand,BOD)难以准确实时预测的问题,在分析污水处理过程相关影响因素的基础上,提出一种基于敏感度分析法的自组织随机权神经网络(selforganizing neural network wit... 详细信息

针对污水处理复杂系统中关键水质参数生化需氧量(biochemical oxygen demand,BOD)难以准确实时预测的问题,在分析污水处理过程相关影响因素的基础上,提出一种基于敏感度分析法的自组织随机权神经网络(selforganizing neural network with random weights,SONNRW)软测量方法.该方法首先通过机理分析选取原始辅助变量,经过数据预处理,之后采用主元分析法对辅助变量进行精选,作为SONNRW的输入变量进行污水处理关键水质参数BOD的预测.SONNRW算法利用隐含层节点输出及其权值向量计算该隐含层节点对于残差的敏感度,根据敏感度大小对网络隐含层节点进行排序,删除敏感度较低的隐含层节点即冗余点.仿真结果表明:该软测量方法对水质参数BOD的预测精度高、实时性好、模型结构稳定,能够用于污水水质的在线预测.

关键词：随机权神经网络自组织敏感度分析软测量生化需氧量(BOD)

在线全文

学校读者我要写书评

暂无评论

随机权神经网络的参数融合优化方法

随机权神经网络的参数融合优化方法

第40届中国控制会议

作者：张思源谢林柏江南大学物联网工程学院

增量型随机权神经网络是一类前馈型神经网络,其模型中的神经元在构建中采用依次增加的方式生成,且输入权值和隐含层神经元的偏置都是随机产生,其中每一次新增节点的过程分为两个步骤:首先是通过各种优化算法设定隐含层节点参数,然后在... 详细信息

增量型随机权神经网络是一类前馈型神经网络,其模型中的神经元在构建中采用依次增加的方式生成,且输入权值和隐含层神经元的偏置都是随机产生,其中每一次新增节点的过程分为两个步骤:首先是通过各种优化算法设定隐含层节点参数,然后在输出层通过最小二乘法更新所有的输出权值.上述过程存在的问题是两个计算步骤中没有考虑隐含层和输出层权值的同步优化问题,其结果是产生了大量冗余无效的节点,降低了算法的收敛速度和模型的泛化能力.针对这一重要问题,本文提出了一种新的参数融合优化方法,主要创新性是:（1）针对新增节点提出新的融合优化指标,确保隐含层与输出层权值的同步优化,给出了对应的参数融合优化的随机权神经网络学习算法（IOI-RVFL）.（2）提出了一种新的模型学习算法收敛性分析方法,得到了随机赋权搜索应满足的约束条件.实验结果表明,相比已有的增量型随机权神经网络,本文的模型具有更紧凑的网络结构和更优的泛化能力.

关键词：随机权神经网络最小化误差融合优化指标收敛条件

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

基于随机权神经网络的重置多分类算法研究

基于随机权神经网络的重置多分类算法研究

作者：杨孝玉浙江工商大学

学位级别：硕士

分类是机器学习的最重要研究领域之一,而多分类问题是目前研究分类问题的热点。最近提出的解决多分类问题的判别最小二乘回归(Discriminative Least Squares Regression,DLSR)算法采用最小二乘损失函数,通过引入一种称之为ε-dragging... 详细信息

分类是机器学习的最重要研究领域之一,而多分类问题是目前研究分类问题的热点。最近提出的解决多分类问题的判别最小二乘回归(Discriminative Least Squares Regression,DLSR)算法采用最小二乘损失函数,通过引入一种称之为ε-dragging的技术,重新构建回归目标0-1矩阵。该技术的目的在于迫使不同的类别沿着相反的方向分离,从而使得类别间的距离扩大。受到DLSR方法在构建目标函数方面的启发,重置最小二乘回归(Retargeted Least Squares Regression Algorithm,ReLSR)算法随后被提出来。不同于DLSR构建目标矩阵的ε:-dragging技术,ReLSR提出从数据中直接学习回归目标,从而使分类误差达到更低。但是,在算法DLSR和ReLSR中使用的分类器都是线性函数。而实际数据间的关系远比线性复杂。因此,本文选择非线性的随机权神经网络(random weighted neural network,RWNN)作为分类器,依然运用ReLSR中通过数据学习回归目标的思想,提出基于随机权神经网络的重置多分类算法(retargeted multiclass Algorithm based on random weighted neural network,ReRWNN)。数值实验表面,与ReLSR相比,ReRWNN算法的分类准确率更高,处理复杂数据的能更强。

关键词：多分类随机权神经网络最小二乘回归重置最小二乘回归

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于收敛率分析的随机权神经网络算法设计

基于收敛率分析的随机权神经网络算法设计

作者：姚云飞天津大学

学位级别：硕士

随机权神经网络通过随机分配输入权重和偏差为神经网络研究提供新的,有前景的随机方法。然而对于随机权神经网络,理论分析不完备,已有工作给出了万能逼近定理,缺乏收敛率分析。此外,在算法方面,已有算法都是基于平方损失设计的,缺乏针... 详细信息

随机权神经网络通过随机分配输入权重和偏差为神经网络研究提供新的,有前景的随机方法。然而对于随机权神经网络,理论分析不完备,已有工作给出了万能逼近定理,缺乏收敛率分析。此外,在算法方面,已有算法都是基于平方损失设计的,缺乏针对一般损失的随机权神经网络算法以及高效的算法。针对该现状,本文提出基于收敛率分析设计随机权神经网络学习算法。具体内容如下:1.设计了一个新的随机权神经网络算法框架,该算法框架适用于一般损失。首先,针对一般损失提出统一的监督机制,g-λ角条件,并证明在该监督机制下随机分配输入权重和偏差能够保证随机权神经网络具有万能逼近性。然后,基于对随机权神经网络损失函数的收敛率分析给出输出权重的计算方法,从而设计了一般损失下的随机权神经网络算法。针对L-光滑且严格凸损失函数以及L-光滑且μ-强凸损失函数,该算法的收敛率分别为O(1/Tλ2)和O((1-μλ2/L)T),其中T为隐节点个数,λ∈(0,1]。另外,该算法关于样本个数具有线性时间复杂度。2.设计了增量批量随机权神经网络算法。在上述给定的算法框架和理论基础上,基于对收敛率进一步分析设计了增量批量随机权神经网络算法。该算法通过批量基函数加权线性组合增量构造隐节点。针对光滑严格凸和光滑强凸损失函数,算法的收敛率分别为O(1/T(λγ)2)和O((1-μ(λγ)2/L)T),γ≥1。通过对时间复杂度分析可得,相对上述算法,该算法在提高收敛率的同时降低了时间复杂度。最后基于实验,进一步验证了该算法的高效性。综上所述,本文基于收敛率分析设计了新的随机权神经网络学习算法。该工作弥补了随机权神经网络理论分析的不足以及高效算法的缺乏,为随机权神经网络的进一步发展奠定了坚实的理论和算法基础。

关键词：随机权神经网络收敛率算法设计时间复杂度

基于改进随机权神经网络的高炉铁水质量参数建模

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于改进随机权神经网络的高炉铁水质量参数建模

作者：张丽东北大学

学位级别：硕士

高炉炼铁是钢铁冶炼中重要的生产环节。在高炉炼铁过程中,铁矿石、焦炭及溶剂按一定比例配成炉料,从炉顶进料口加入到炉内。铁矿石在高温高压下,经过一系列复杂的物理化学反应最终被还原成铁,以铁水的形式从高炉出铁口流出。铁水的质量... 详细信息

高炉炼铁是钢铁冶炼中重要的生产环节。在高炉炼铁过程中,铁矿石、焦炭及溶剂按一定比例配成炉料,从炉顶进料口加入到炉内。铁矿石在高温高压下,经过一系列复杂的物理化学反应最终被还原成铁,以铁水的形式从高炉出铁口流出。铁水的质量对后续转炉炼钢有着很大的影响,因此有必要实时准确地监测高炉内部状态参数,来保障高炉的平稳运行以生产出质量合格的铁水。然而高炉炼铁是一个包含气、固、液三相混合,物理化学反应极其复杂的过程,其内部环境极其恶劣,这些导致了操作人员难以对其内部运行状态的变化进行实时监测。因此有必要建立准确可靠的铁水质量模型来反映高炉当前和预期的内部温度和指标参数变化,为现场操作人员提供全面的炉况和铁水质量信息。目前,随机权神经网络(RVFLNs)被广泛应用于解决实际工程的建模、回归与分类,并且近几年也用于解决高炉铁水质量建模问题。相比常规的BP、RBF等神经网络,随机权神经网络有更快的速度和更高的计算效率,但随机权神经网络普遍存在易出现过拟合情况、计算结果不稳定、模型精度不够高的问题。为此,本文针对这些问题,依托国家自然科学基金重大研究项目“大型高炉高性能运行控制方法及其实现技术”(61290323),以柳钢2号高炉为研究对象,开展基于改进随机权神经网络的多元铁水质量建模研究,具体工作如下:(1)针对现有随机权神经网络建模方法存在的节点选择不当时易出现过拟合的问题,基于自编码(Autoencoder)算法和主成分分析(PCA)技术,提出一种新型的改进随机权神经网络-基于自编码和主成分分析的随机权神经网络(AE-P-RVFLNs),并建立高炉多元铁水质量指标的带输入的非线性自回归(NARX)模型。首先,对高炉的状态变量和控制变量进行分析得到16个影响铁水质量指标的变量,并引入PCA对16个变量进行降维处理以降低运算的复杂程度。其次,为了使模型更好的逼近实际系统的动态特性,本文引入NARX模型,并基于AIC(Akaike's Information Criterion)准则和 SR(Schwartz-Rissanen)准则确定了 NARX模型的最佳阶次。在确定了模型结构后,为了分析出实际复杂工业数据中的有用信息和发现输入数据之间的隐藏关系,用Autoencoder训练输入数据,并将训练得到的输出权值作为后续神经网络中的输入权重。随后,引入PCA技术对隐层输出矩阵进行降维处理,避免隐层输出矩阵多重共线问题,大大降低网络中的无用隐层结点个数,简化网络结构,有效避免由于隐层节点过多导致的过拟合问题。最后,将所提方法在柳钢2号高炉进行了工业试验和比较研究。结果表明,相对于常规铁水质量估计方法,本文所提模型提高了计算精度和计算速度,并且有效解决了常规RVFLNs由于隐层节点选择不当造成的过拟合问题。(2)针对常规RVFLNs计算结果不稳定以及精度需要进一步提高的问题,本文提出基于改进增量型随机权神经网络(I-RVFLNs)的多元铁水质量动态NARX建模方法。首先,改进并设定了符合高炉炼铁工艺实际和多输入多输出动态建模问题的算法终止条件;其次,针对增量型神经网络节点过多的情况,提出一种改进的增量型随机权神经网络,该算法在不改变网络节点个数和保证误差不断下降的前提下,依次改变每个节点的输出权重来,逼近理想输出值;最后基于柳钢2号高炉的实际数据建立了改进的增量型随机权神经网络的多元铁水质量动态NARX模型,并和其他模型进行对比实验。结果表明,相对于常规铁水质量模型,上述模型有更好的精度和速度。

关键词：高炉炼铁铁水质量参数随机权神经网络带输入的非线性自回归模型主成分分析自编码算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

高炉铁水质量鲁棒随机权神经网络建模

高炉铁水质量鲁棒随机权神经网络建模

作者：李温鹏东北大学

学位级别：硕士

高炉炼铁是钢铁工业的重要生产环节,是现代炼铁的最主要方式。高炉炼铁需要准确判断整个高炉运行态势,及时调整布料制度、热风制度等相关操作制度及工艺参数,使炉内煤气分布合理、热量充分利用、渣铁顺利排放,实现高炉生产的优质、高产... 详细信息

高炉炼铁是钢铁工业的重要生产环节,是现代炼铁的最主要方式。高炉炼铁需要准确判断整个高炉运行态势,及时调整布料制度、热风制度等相关操作制度及工艺参数,使炉内煤气分布合理、热量充分利用、渣铁顺利排放,实现高炉生产的优质、高产、低耗和长寿运行。但是,高炉内部存在复杂的物理化学反应,高温高压,强耦合,非线性,工况时变且存在固、液、气多态,冶炼环境十分恶劣,难以对其进行实时监测和有效控制。目前,出铁口的铁水质量参数被广泛用来间接反映高炉运行状态,包括铁水温度(MIT)、硅含量([Si])、磷含量([P])和硫含量([S])。然而,现有的检测技术不能直接在线测量铁水质量参数,离线化验又耗费较长时间而存在滞后。因此,建立准确可靠的铁水质量参数预测模型显得尤为重要。以神经网络为代表的数据驱动建模方法应用在工业生产过程中,取得了越来越多可喜的硕果。然而,现有的铁水质量参数建模依然在计算效率、鲁棒性、在线学习能力、数据共线性等方面存在问题。针对上述问题,本文利用人工智能与统计学习的方法,开展高炉铁水质量鲁棒随机权神经网络建模的研究,并依托国家自然科学基金重大课题项目“大型高炉高性能运行控制方法及实现技术”(项目号:61290323)和“大型高炉高性能运行控制的实验验证平台构建及应用验证”(项目号:61290321),以广西柳钢2650m3高炉为研究对象,具体工作如下:(1)针对现有的铁水质量参数模型仅仅是对单一指标建模,且模型缺乏对离群点的鲁棒性,易受数据的共线性影响,以及泛化能力差等问题,对基本随机权神经网络模型算法改进,提出了高炉铁水质量参数鲁棒正则化随机权神经网络建模。利用正则化理论和结构风险最小化原则,在损失函数中同时引入L2正则和L1正则,构造成Elastic Net,稀疏化网络的输出权值矩阵,解决了多重共线性问题,防止模型过拟合。结合M-估计解决样本数据中存在的输出方向异常离群点对模型的不良影响,提高了鲁棒性和预测准确率。同时,设计了根据标准化残差分布自主确定参数的高斯权函数,提高模型鲁棒性能和计算效率。最后,实际高炉炼铁过程数据,进行不同权函数对比及不同建模方法对比试验,结果表明所提建模方法具有较强的鲁棒性、更高的估计精度,且稀疏输出权值矩阵,解决多重共线性问题。(2)针对高炉炼铁过程存在的工况时变的动态特性,我们在提出的鲁棒随机权神经网络建模基础上,引入在线序贯策略,提出带有遗忘因子的铁水质量参数鲁棒在线序贯随机权神经网络建模方法,提高模型的在线学习和自适应能力。在线序贯策略,可以根据新来的一批数据及时更新模型参数;同时,引入遗忘因子法解决对随着数据不断增加出现的“数据饱和”现象,增大当前数据的作用,提高模型的准确率;对输出权值的正则化,防止模型过拟合,提高泛化能力。最后,基于数值仿真和实际高炉炼铁过程数据,与其他不同的建模方法对比,表明所提建模方法具备良好的在线学习能力,有效克服高炉运行工况时变对鲁棒建模性能的影响,保证了铁水质量预测的鲁棒性和准确率。(3)首先针对高炉炼铁过程数据中存在的数据噪声和多重共线性问题,提出了基于偏最小二乘法的随机权神经网络建模方法,然后针对M估计的鲁棒随机权神经网络存在不能抵抗高炉炼铁过程运行数据样本输入异常的情况,提出基于广义M-估计(GM-估计)的高炉铁水质量鲁棒偏最小二乘随机权神经网络建模算法。通过模型的残差大小和输入向量在高维空间的距离信息分别确定样本对建模的贡献大小,使其能够抵抗训练数据中含有样本输入方向和输出方向均异常的离群点对模型的影响。同时偏最小二乘算法通过将隐含层高维数据映射到低维空间,解决了多重共线性对模型的影响,极大的提高了模型的鲁棒性和预测准确率。最后,基于数值仿真和实际高炉炼铁过程数据,进行充分数据试验,结果表明所提方法具有更强的鲁棒性能和预测准确率。

关键词：高炉炼铁铁水质量参数随机权神经网络离群点鲁棒建模 M-估计 GM-估计多重共线性