检索结果-南通市图书馆

随机配置网络模型参数及其激活函数选择方法研究

在线全文

学校读者我要写书评

暂无评论

随机配置网络模型参数及其激活函数选择方法研究

作者：丁思超沈阳工业大学

学位级别：硕士

随机配置网络(Stochastic Configuration Networks,SCN)通过独特的监督机制确保其万用逼近性,对比其他神经网络,随机配置网络具有收敛速度快,泛化性能得到保障等优势。然而,SCN网络在建模过程中部分超参数选择的遍历范围是人工设定的,... 详细信息

随机配置网络(Stochastic Configuration Networks,SCN)通过独特的监督机制确保其万用逼近性,对比其他神经网络,随机配置网络具有收敛速度快,泛化性能得到保障等优势。然而,SCN网络在建模过程中部分超参数选择的遍历范围是人工设定的,激活函数也是根据人为经验去设置,这些都与数据无关。但是人工设置超参数范围会造成选择到的区间无效,导致建模速度变慢,使用单一激活函数对数据进行非线性变换会限制模型的表达能力,从而降低模型的泛化能力,并可能导致过早停止训练。针对上述问题本文提出了一种数据驱动的SCN参数选择方法,将模型输入参数的选择与数据相关联,此种优化策略可提高模型的建模速度和泛化性能,并同时提出了一种数据驱动的SCN激活函数选择方法,依据数据为隐藏层节点选择最适配的激活函数,解决提前停止训练的同时,进一步提高模型泛化能力。主要研究内容如下:(1)针对随机配置网络生成模型时,需要人为设置均匀分布的范围,并且选取的参数可能会落入使激活函数无效的区间范围的问题,本文提出了一种数据驱动的随机配置网络参数选择(Data-driven Random Parameter Selection Stochastic Configuration Networks,DRPS-SCN)方法。该方法通过输入数据为隐藏层节点生成候选参数,使其落入Sigmoid函数的非饱和区间,避免了人为设置均匀分布的参数范围,导致选出的随机参数可能会落入无效的饱和区间的问题。实验结果表明,这种根据数据选择随机参数的方法能使模型的节点数更少,模型更加紧致,同时有效提高了SCN模型的生成速度。(2)针对随机配置网络生成模型时依据人为经验设置激活函数会限制模型表达能力的问题,本文提出了一种数据驱动的随机配置网络激活函数选择(Data-driven Activation Function Selection Stochastic Configuration Networks,DAFS-SCN)方法。该方法生成模型时根据数据选择最优的激活函数,避免了根据经验设置激活函数建模时,导致模型过拟合或者提前停止训练的问题。实验结果表明,这样的模型有更好的泛化能力和更广阔的普适性。

关键词：随机配置网络激活函数选择随机参数选择区间增量式学习数据驱动

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

随机配置网络不平衡数据分类算法研究

随机配置网络不平衡数据分类算法研究

作者：宁传峰中国矿业大学

学位级别：硕士

在信息化浪潮以及数据可用性空前爆发的时代,海量数据中不可避免的存在不平衡数据,不平衡数据广泛存在于工业生产和生活中,如机械故障诊断、状态监测、医疗诊断、网络入侵检测等。传统的分类算法在实现分类任务时是基于样本数量均衡或... 详细信息

在信息化浪潮以及数据可用性空前爆发的时代,海量数据中不可避免的存在不平衡数据,不平衡数据广泛存在于工业生产和生活中,如机械故障诊断、状态监测、医疗诊断、网络入侵检测等。传统的分类算法在实现分类任务时是基于样本数量均衡或者错分代价相等这一假设,关注样本的整体分类精度。当面临不平衡数据集分类任务时,由于多数类在数量上的优势,会导致在学习过程中多数类淹没少数类,使得少数类的分类性能不佳。因此,构建不平衡数据分类算法以提高少数类的分类精度是亟需解决的问题。在大数据时代,随着数据规模和复杂度的增加,基于神经网络的机器学习分类方法相继出现,一种新颖的增量式学习方法,随机配置网络(Stochastic Configuration Networks,SCNs)便是典型的代表。SCNs由于收敛速度快,泛化性能好,具有无限逼近特性已经被广泛应用到工业过程建模以及数据分析中。但是现有的SCNs及其变体并没有考虑到数据的不平衡问题。鉴于此,本文在SCNs的理论基础上,将改进的SCNs融入到不平衡数据分类任务中。主要工作与创新性成果概括如下:(1)提出基于样本数量和密度的SCNs不平衡数据分类方法。针对SCNs在构建过程未考虑数据量之间的差异导致分类性能不佳的问题,通过构造权重矩阵的方式为不同类别赋予不同的权重。考虑样本数量与样本分布情况,引入平衡因子来缓解性能在分布上的偏差,同时模糊隶属度用来减少噪声对分类性能的影响。最后,证明了该方法的无限逼近性,并通过不平衡数据集验证了该方法在处理不平衡数据分类方面的优越性。(2)提出基于混合密度的类依赖SCNs不平衡数据分类方法。为了应对不平衡数据集之间存在类间重叠,小区块等严重影响到分类性能的问题,首先引入混合密度来评估类内以及类间的分布情况,进而可以探索样本之间更多的分布信息。其次,通过对不同类别赋予不同的正则化参数来解决样本分散度不一致的问题。最后,通过在机器学习标准数据库上的分类任务上验证了该方法要优于基于样本数量和密度的SCNs的不平衡数据分类方法。(3)提出基于联合概率的SCNs不平衡数据分类方法。针对依据不平衡数据集不同类别的重要性,人为设置权重系数缺乏理论依据的问题,通过引入密度系数和距离系数评估少数类所携带的信息量,根据信息量进行权重的更新。实验结果表明该方法的分类性能要优于基于样本数量和密度的SCNs以及基于混合密度类依赖的SCNs。

关键词：随机配置网络不平衡数据分类混合密度类依赖联合概率

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

随机配置网络的改进及其在风速预测中的应用

随机配置网络的改进及其在风速预测中的应用

作者：张皓博沈阳工业大学

学位级别：硕士

随机配置网络（Stochastic Configuration Networks,SCNs）作为近年来出现的一种先进随机权神经网络,相较传统的随机权网络模型,在网络结构、学习速度、泛化效果等方面具有明显的优势,广泛应用于工业建模、信号处理、计算机视觉等领域... 详细信息

随机配置网络（Stochastic Configuration Networks,SCNs）作为近年来出现的一种先进随机权神经网络,相较传统的随机权网络模型,在网络结构、学习速度、泛化效果等方面具有明显的优势,广泛应用于工业建模、信号处理、计算机视觉等领域。然而,SCNs在面对大数据建模任务中采用传统的计算方式会显著增加网络参数训练与优化的成本,并且超参数的固定选择限制了网络的泛化性能。因此本文在SCNs增量构造方式的基础上,研究其配置方法、优化参数选择,提高模型建模速度及随机搜索效率,主要工作概括如下:（1）提出一种基于QR分解的快配置随机配置网络（Stochastic Configuration Networks with Fast Implementations,FSCNs）。大数据建模任务中,采用传统的全局构造性方法导致配置过程的复杂度呈指数级递增,模型建模效率低下。针对以上问题,引入施密特正交技术,将输出权重进行含有待定参数的分解,采用增量式网络配置方法,提出了FSCNs模型,并在理论上验证其有效性。实验表明所提方法可有效减少SCNs建模时间,保持了良好的泛化和学习性能,拓宽了SCNs在大数据时代的应用。（2）提出一种基于哈里斯鹰优化算法的随机配置网络（Stochastic Configuration Networks based on Harris Hawk optimization,HHO-SCNs）。未知的不可见样本在建模任务中必不可免,所以固定的参数选择大大影响SCNs模型的泛化能力。基于HHO算法搜索效率与收敛精度较高的特点,将HHO算法引入网络构建过程,优化其正则化参数与比例因子,提出了HHO-SCNs模型,提高了模型构建质量,实现了网络模型参数的精确搜索。实验表明所提方法提高了网络参数分配效率和搜索精度,有利于构建紧致的网络结构,可以应对不同环境下的学习任务。（3）风电场短期风速具有非平稳性和时变性,其预测精度和时效性有待提高。将本文提出的两种随机配置网络算法组合应用于短期风速预测实例中,建立基于HHO-FSCNs的风速预测模型,结果表明组合模型有更好的预测能力。综上所述,本文重点研究了SCNs的建模效率和超参数优化,所提出的两种改进模型提升了算法的建模速度和泛化性能,为挖掘SCNs的潜力以及拓宽SCNs的应用提供了新的思路。

关键词：随机配置网络 QR分解哈里斯鹰优化算法短期风速预测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于随机配置网络的轻量级人体行为识别模型

控制与决策 2023年第6期38卷 1541-1550页

作者：南静宁传峰建中华代伟中国矿业大学信息与控制工程学院江苏徐州221116

针对智能手机受限的计算和存储环境等问题,提出基于流形正则化和QR分解的轻量级随机配置网络人体行为识别模型.首先,利用流形正则化解决输入数据被随机映射到SCNs隐含层空间后出现难以预测的非线性分布问题,以提升模型结构的轻量性;其次... 详细信息

针对智能手机受限的计算和存储环境等问题,提出基于流形正则化和QR分解的轻量级随机配置网络人体行为识别模型.首先,利用流形正则化解决输入数据被随机映射到SCNs隐含层空间后出现难以预测的非线性分布问题,以提升模型结构的轻量性;其次,采用QR分解降低输出权值计算复杂度,进一步提高模型建模过程的轻量性;最后,在两个人体行为识别数据集上评估所提出模型在模型识别精度和轻量性方面的有效性.实验结果表明,与SCNs、CNN等相比,所提出模型对于人体行为识别问题不仅可以实现识别精度的提高,还能有效降低计算复杂度,提高模型结构的紧致性.

关键词：人体行为识别智能手机随机配置网络流形正则化 QR分解轻量性

在线全文

学校读者我要写书评

暂无评论

基于随机配置网络的非线性系统智能建模方法

控制与决策 2022年第10期37卷 2559-2564页

作者：陶金梅牛宏张亚军李旭生辽宁石油化工大学理学院辽宁抚顺113001 东北大学流程工业综合自动化国家重点实验室沈阳110004

针对一类非线性离散动态系统,研究非线性系统的智能建模方法.首先,采用带遗忘因子的递推最小二乘法对低阶模型的未知参数进行辨识;然后,对高阶非线性部分采用随机配置网络进行估计;最后,利用两种辨识方法在外部误差准则下对系统进行交... 详细信息

针对一类非线性离散动态系统,研究非线性系统的智能建模方法.首先,采用带遗忘因子的递推最小二乘法对低阶模型的未知参数进行辨识;然后,对高阶非线性部分采用随机配置网络进行估计;最后,利用两种辨识方法在外部误差准则下对系统进行交替辨识,进而提出一种改进的非线性系统交替辨识的智能建模方法.将随机配置网络与递推最小二乘算法相结合,可有效提高非线性系统的辨识精度,并且通过数值仿真实验进行对比分析以验证所提出算法的有效性.

关键词：非线性系统高阶非线性项递推最小二乘法随机配置网络智能建模

融合改进符号动态熵和随机配置网络的水电机组轴系故障诊断方法

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

水利学报 2022年第9期53卷 1127-1139页

作者：陈飞王斌周东东赵志高丁晨陈帝伊西北农林科技大学水利与建筑工程学院陕西杨凌712100 武汉大学水资源与水电工程科学国家重点实验室湖北武汉430072

现有水电机组轴系故障诊断研究主要建立在单一传感器振动信号数据的基础上,存在故障信息缺失和传感器测点选择困难等问题。为此,提出了一种基于精细复合多元多尺度符号动态熵(RCMMSDE)和随机配置网络(SCN)相结合的水电机组轴系故障诊断... 详细信息

现有水电机组轴系故障诊断研究主要建立在单一传感器振动信号数据的基础上,存在故障信息缺失和传感器测点选择困难等问题。为此,提出了一种基于精细复合多元多尺度符号动态熵(RCMMSDE)和随机配置网络(SCN)相结合的水电机组轴系故障诊断方法。首先,将精细复合技术引入RCMMSDE模型中,改进了传统多元多尺度熵粗粒化不足的问题。然后,通过提取水电机组不同传感器振动信号的RCMMSDE值作为故障特征。最终,将故障特征输入SCN网络实现水电机组轴系故障的准确识别。仿真结果表明,RCMMSDE-SCN模型在两个不同数据集上分别取得了97.58%和99.17%的诊断率,验证了所提模型具有良好的诊断性能。同时,对比不同诊断模型在多元传感器信号和单一传感器信号两种不同情景下的诊断情况,表明融合多元振动信号可以有效改善水电机组轴系故障诊断模型的识别性能。本研究为融合水电机组多元传感器振动信号故障诊断提供了一种新的方法,具有良好的借鉴价值。

关键词：水电机组故障诊断多元多尺度符号动态熵随机配置网络特征提取

在线全文

学校读者我要写书评

暂无评论

一种随机配置网络软测量模型的稀疏学习方法

控制与决策 2022年第12期37卷 3171-3182页

作者：王前进代伟陆群辅小荣马小平盐城工学院电气工程学院江苏盐城224051 中国矿业大学信息与控制工程学院江苏徐州221116 中国矿业大学人工智能研究院江苏徐州221116

随机配置网络(SCN)构建一个不等式约束条件对隐性参数进行随机分配,同时对其范围进行自适应选择,具有收敛速度快、建模精度高等优点.由于随机算法的本质特性,不可避免产生低值、冗余节点,为提高SCN软测量模型的稀疏性,提出一种简约随机... 详细信息

随机配置网络(SCN)构建一个不等式约束条件对隐性参数进行随机分配,同时对其范围进行自适应选择,具有收敛速度快、建模精度高等优点.由于随机算法的本质特性,不可避免产生低值、冗余节点,为提高SCN软测量模型的稀疏性,提出一种简约随机配置网络(PSCN). PSCN在网络增量构建目标函数中引入L_(1)范数,建立一个新的不等式约束条件来保障隐性节点的生成质量.并进一步针对新建目标函数的非凸性和非光滑性,采用交替方向乘子法(ADMM)对整个PSCN网络的输出权重进行更新.最后,将所提出方法应用于基准数据集和实际工业过程软测量问题中,结果表明该方法可有效简化模型结构,同时具有较高的泛化性能.

关键词：随机配置网络 L1正则化软测量模型不等式约束交替方向乘子法

在线全文

学校读者我要写书评

暂无评论

随机配置网络的结构优化研究

随机配置网络的结构优化研究

作者：裴诗雨中国矿业大学

学位级别：硕士

由于人工智能的兴起,如支持向量机、人工神经网络和决策树等在内的机器学习算法,特别是人工神经网络凭借其突出的信息处理能力,普遍应用于信号处理、模式识别、图像处理、系统建模与优化和智能控制等领域。随机配置网络（Stochastic Con... 详细信息

由于人工智能的兴起,如支持向量机、人工神经网络和决策树等在内的机器学习算法,特别是人工神经网络凭借其突出的信息处理能力,普遍应用于信号处理、模式识别、图像处理、系统建模与优化和智能控制等领域。随机配置网络（Stochastic Configuration Network,SCNs）作为近年来出现的一种先进随机权神经网络,相较一般的随机权模型,其在网络结构、学习速度、泛化效果等方面具有明显的优势。然而,SCNs的随机特性会在其隐层中不可避免地产生低质量节点,这些节点冗余度高增加网络复杂度,对模型性能贡献不大,甚至会导致模型过拟合和不稳定。因此,本文在SCNs增量构造方式基础上,研究其网络结构与模型性能的关系,通过结构优化,提高模型构建质量,使SCNs的模型更加稳定。主要工作概括如下:（1）提出一种正交增量的随机配置网络（Orthogonal Stochastic Configuration Network,OSCN）。由于网络随机性,SCNs学习过程中,近似线性相关节点的产生在所难免,这些节点冗余度高,质量差,容易导致病态输出矩阵影响模型泛化。针对这些问题,首先引入施密特正交技术,从节点间相关性出发,优化网络结构,提出了OSCN,证明了正交形式下的无限逼近特性,并进一步改善了输出权值求取方法。实验表明所提方法可有效减少SCNs迭代次数,且有良好的泛化性能。（2）提出一种基于随机敏感度的随机配置网络（Stochastic Configuration Network Based on Stochastic Sensitivity Measure,SSM-SCN）。未知的不可见样本在建模任务中必不可免,大大影响模型的泛化性能;且SCNs模型结构越复杂对不可见样本越敏感,模型越不稳定,泛化性能越差。为此,本文将随机敏感度引入节点配置与参数优化过程,提出了SSM-SCN,提高了SCN模型构建质量,实现了网络模型结构的优化,证明了SSM-SCN监督机制下的网络收敛性并引入Cholesky因子分解的输出权值更新策略提高学习效率。实验表明所提方法能构建利于泛化的网络结构,且能进一步提高模型建模效率。（3）将本文提出的两种随机配置网络算法应用于典型磨矿工业实例中,分别对不同规模的工业数据进行实验研究,结果表明两种结构优化SCN模型能够满足不同的工业需求。综上所述,本文为提高模型性能,重点研究了SCNs结构和泛化性能之间的关系,提出两种结构优化的SCN模型。并针对不同数据规模选择相应算法,且所开发的算法均有效提升了随机配置网络在实际应用中的学习与泛化性能。

关键词：随机配置网络正交增量随机敏感度泛化性能

随机配置网络在短时电力负荷曲线预测中的应用

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

西北民族大学学报（自然科学版） 2023年第1期44卷 71-78页

作者：邓真平重庆市科源能源技术发展有限公司重庆渝北401147

传统梯度类神经网络负荷预测模型在面对高维度、大规模负荷数据集时,存在模型构建复杂、训练时间长等问题.为提高负荷曲线预测模型训练的时效性和预测准确性,提出了一种基于随机配置网络的短时电力负荷曲线预测方法.首先针对弱局部负荷... 详细信息

传统梯度类神经网络负荷预测模型在面对高维度、大规模负荷数据集时,存在模型构建复杂、训练时间长等问题.为提高负荷曲线预测模型训练的时效性和预测准确性,提出了一种基于随机配置网络的短时电力负荷曲线预测方法.首先针对弱局部负荷波动对预测模型的影响,利用Savitzky-Golay滤波器对负荷时序平滑进行处理,将时序滤波处理后的负荷序列、节假日、气象等数据作为预测模型的输入组成部分.在此基础上,发挥随机配置网络模型的随机增量学习优势,完成负荷曲线预测模型的训练.利用某电厂采集的短时负荷数据及其影响因素数据对模型的预测效果进行验证,仿真结果表明,随机配置网络预测模型相较于深度神经网络模型在模型训练的时间效率方面更具优势,预测的效果基本与深度神经网络模型接近.

关键词：随机配置网络电力负荷预测时序滤波随机增量学习