检索结果-南通市图书馆

违背不相关性假设对Triple Collocation方法精度的影响

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

地球信息科学学报 2024年第3期26卷 591-603页

作者：谈松林王洁季静静刘美丽湛忠宇刘淼王丽荣胡晓东南京信息工程大学南京210044 水利部水文气象灾害机理与预警重点实验室南京210044 江苏省水文水资源勘测局南京分局南京210008 江苏省水文水资源勘测局南京210029 河北省气象灾害防御和环境气象中心石家庄050022 江苏省水利科学研究院南京210017

Triple Collocation(TC)方法是一种可以在未知真值情况下评估3个独立观测样本各自不确定性的方法,该方法使用的前提是误差形式假设与2组不相关性假设,但在实际使用中,这3条假设难以完全满足。其中2组不相关性假设经常面临较大的违背,并... 详细信息

Triple Collocation(TC)方法是一种可以在未知真值情况下评估3个独立观测样本各自不确定性的方法,该方法使用的前提是误差形式假设与2组不相关性假设,但在实际使用中,这3条假设难以完全满足。其中2组不相关性假设经常面临较大的违背,并且无法得知这种假设违背对结果误差的影响。本文通过虚拟样本实验生成了多组不同程度违背不相关性假设的样本,以定量评估不同程度假设违背对结果误差的影响。结果表明,一般情况下,某一条不相关性假设的违背程度增加时,方法的结果误差会相应地呈线性或平方倍数增加;但当不相关性假设的违背处于某个特定关系时,TC方法结果的误差会突然大幅度增加,这种现象在以往的研究中并没有得到重视,后文将该现象简称为异常点。为了探求异常点出现的原因,本文从理论上推导出了违反不相关性假设与结果误差之间的关系,这种关系呈现为分式结构,而异常点的出现正是这种分式结构所致。异常点的存在影响了方法的稳定性。从差值形式的TC方法的角度来看,抑制异常点的关键在于如何更好地设计缩放系数。本文给出了2种抑制异常点的方法:(1)忽略加性偏差系数,使得缩放系数不受两组不相关性假设的影响;(2)限制缩放系数的上下限。根据实际数据分析,第2种改进方法优于第1种。第2种方法不仅保留了TC方法的准确性,而且有效地避免了异常点的出现。值得注意的是,在实际数据中,部分异常点会以负值形式出现并因计算结果不能为负而被剔除。在使用TC方法进行计算时,重复次数较少的情况下,可以不考虑异常点的影响。

关键词： Triple collocation 假设违背异常点遥感数据同化数据评估数据不确定性分析无实测数据

在线全文

学校读者我要写书评

暂无评论

基于M估计算法的三维点云平面拟合方法研究

电子测量技术 2024年第5期47卷 70-76页

作者：杨少舟龙东平陈继尧吴士旭徐先懂湖南科技大学机电工程学院湘潭411201 难加工材料高效精密加工湖南省重点实验室湘潭411201 长沙视浪科技有限公司长沙410006 韶关学院智能工程学院韶关512005

通过激光传感器获取的三维点云难免混入噪声和异常点,导致点云平面的拟合精度降低。为解决该问题,本文提出了一种结合M估计样本一致性(MSAC)算法和主成分分析(PCA)法拟合点云平面的方法。该方法首先通过MSAC算法去除点云数据中的异常点... 详细信息

通过激光传感器获取的三维点云难免混入噪声和异常点,导致点云平面的拟合精度降低。为解决该问题,本文提出了一种结合M估计样本一致性(MSAC)算法和主成分分析(PCA)法拟合点云平面的方法。该方法首先通过MSAC算法去除点云数据中的异常点,获得较为理想的点云平面,然后使用PCA方法对保留的点云数据进行平面拟合,以获取更加精确的点云平面参数。使用电池托盘作为被测物,应用3D线激光轮廓传感器扫描被测物并将点云数据传输到计算机进行处理。通过设定的仿真数据和电池托盘点云数据进行实验,发现本文方法与随机采样一致性(RANSAC)结合PCA、最小平方中值(LMedS)结合PCA的方法相比,在耗时接近的情况下,能够显著降低异常点对点云平面拟合的影响,获得更精确的平面拟合参数。对两个部分的电池托盘点云滤波处理后进行平面拟合时,能够发现本文方法与其他两种方法相比,标准差分别降低了28.6%和22.5%%、24.0%和29.0%,该方法具有较高的平面拟合精度和实用性。

关键词：点云数据异常点平面拟合 M估计主成分分析方法

一种基于DBSCAN算法改进的稳健AdaBoost回归模型

在线全文

学校读者我要写书评

暂无评论

合肥学院学报（综合版） 2024年第2期41卷 1-9页

作者：黄静杨联强安徽大学大数据与统计学院合肥230601 安徽大学人工智能学院合肥230601

传统的AdaBoost.R2算法在AdaBoost算法思想的基础上将回归问题转化为二分类问题,取得了较好的估计效果。但该算法对异常点敏感,在迭代过程中会将异常点的权重不断加大,导致模型的稳健性较差。提出一种改进的AdaBoost算法,称为AdaBoost.D... 详细信息

传统的AdaBoost.R2算法在AdaBoost算法思想的基础上将回归问题转化为二分类问题,取得了较好的估计效果。但该算法对异常点敏感,在迭代过程中会将异常点的权重不断加大,导致模型的稳健性较差。提出一种改进的AdaBoost算法,称为AdaBoost.DBSCAN。首先,通过DBSCAN聚类算法对观测点进行分类;然后,分别针对正常点和异常点,采用不同的权重控制策略进行控制,保证异常点的权重在迭代过程中无法以指数速率增长,同时能较大程度地保存样本信息。模拟和实际应用结果表示,与传统的AdaBoost.R2、AdaBoost.RT算法以及AdaBoost.RS算法相比,该算法具有良好的稳健性,在含有不同比例异常点的数据集中都能够获得较好的表现。

关键词： AdaBoost.R2 DBSCAN聚类算法异常点稳健性回归

基于SVDD算法的高维非线性传感器数据流异常点检测

在线全文

学校读者我要写书评

暂无评论

安阳工学院学报 2024年第2期23卷 65-69页

作者：高峰福州理工学院福州350000

传感器数据通常具有高维特征,且在实际工业环境中可能存在复杂的非线性关系。如何有效处理高维度、非线性和复杂的数据特征,是当前研究的难点问题。为此本研究基于支持向量数据描述算法,针对高维非线性传感器数据流进行异常点检测。采... 详细信息

传感器数据通常具有高维特征,且在实际工业环境中可能存在复杂的非线性关系。如何有效处理高维度、非线性和复杂的数据特征,是当前研究的难点问题。为此本研究基于支持向量数据描述算法,针对高维非线性传感器数据流进行异常点检测。采用生成对抗网络提取高维非线性数据特征,通过主成分分析方法对提取得到的特征进行降维处理,以减少数据维度。使用经过降维处理的数据训练SVDD模型,通过求解对偶问题,得到的支持向量的系数和阈值等参数,以确定异常检测的决策边界,根据决策边界实现异常点检测。通过实验验证可知,所提方法的异常检出率较高,误报率较低,得出SVDD算法在高维非线性传感器数据流中异常点检测具有有效性,证明了其在实际工程应用中的潜在价值。

关键词： SVDD算法传感器数据流异常点生成对抗网络主成分分析

在线全文

学校读者我要写书评

暂无评论

一种针对异常点的自适应回归特征选择方法

计算机研究与发展 2019年第8期56卷 1695-1707页

作者：郭亚庆王文剑苏美红山西大学计算机与信息技术学院太原030006 计算智能与中文信息处理教育部重点实验室(山西大学) 太原030006

数据集中含有不相关特征和冗余特征会使学习任务难度提高,特征选择可以有效解决该问题,从而提高学习效率和学习器性能.现有的特征选择方法大多针对分类问题,面向回归问题的较少,特别是当数据集含异常点时,现有方法对异常点敏感.虽然某... 详细信息

数据集中含有不相关特征和冗余特征会使学习任务难度提高,特征选择可以有效解决该问题,从而提高学习效率和学习器性能.现有的特征选择方法大多针对分类问题,面向回归问题的较少,特别是当数据集含异常点时,现有方法对异常点敏感.虽然某些方法可以通过给样本损失函数加权来提高其稳健性,但是其权值一般都已预先设定好,且在特征选择和学习器训练过程中固定不变,因此方法的自适应性不强.针对上述问题,提出了一种针对异常点的回归特征选择方法(adaptive weight LASSO, AWLASSO),它首先根据回归系数更新样本误差,并通过自适应正则项将误差大于当前阈值的样本的损失函数赋予较小权重,误差小于阈值的样本的损失函数赋予较大权重,再在更新权重后的加权损失函数下重新估计回归系数,不断迭代上述过程.AWLASSO算法采用阈值来控制样本是否参与回归系数的估计,在阈值作用下,误差较小的样本才可参与估计,所以迭代完成后会获得较优的回归系数估计.另外,AWLASSO算法的阈值不是固定不变的,而是不断增大的(为使初始回归系数估计值较准确,其初始值较小),这样误判为异常点的样本可以重新进入训练集,并保证训练集含有足够的样本.对于误差大于最大阈值的样本点,由于其学习代价较大,算法将其识别为异常点,令其损失函数权重为0,从而有效降低了异常点的影响.在构造数据和标准数据上的实验结果表明:对于含有异常点的数据集,提出的方法比经典方法具有更好的稳健性和稀疏性.

关键词：特征选择回归异常点稳健自适应正则项

在线全文

学校读者我要写书评

暂无评论

通过GIC准则同时诊断数据变换与异常点

系统工程理论与实践 2009年第1期29卷 97-103页

作者：王大荣张军舰张忠占北京工业大学应用数理学院北京100124 广西师范大学数学学院桂林541004

针对回归分析中异常数据和变量变换相互影响的问题,从变量选择角度,结合模型选择的广义信息准则(GIC)与构造变量方法,提出了一类数据变换与异常点的同时诊断方法。该方法同时考虑由是否存在异常点以及是否需要变换所组成的四种备选模型... 详细信息

针对回归分析中异常数据和变量变换相互影响的问题,从变量选择角度,结合模型选择的广义信息准则(GIC)与构造变量方法,提出了一类数据变换与异常点的同时诊断方法。该方法同时考虑由是否存在异常点以及是否需要变换所组成的四种备选模型,在某些情况下,既可以减轻异常点对数据变换的强影响,又避免了变换数据对于异常点的掩盖效应.文章通过模拟与实例验证了该方法的有效性,并与文献中的F检验法、似然距离诊断法以及ρ方法进行了比较.

关键词： GIC准则异常点 Box-Cox变换模型选择

基于假设检验及异常点剔除的稳健LS-SVM回归

在线全文

学校读者我要写书评

暂无评论

模式识别与人工智能 2010年第2期23卷 241-249页

作者：温雯郝志峰杨晓伟战荫伟广东工业大学计算机学院广州510006 华南理工大学数学科学学院广州510641

提出一种稳健的LS-SVM回归算法.该算法建立在异常样本逐步剔除的框架上,每次循环中选择误差最大的样本加以考察,然后使用统计假设检验方法对其进行诊断.若样本被诊断为异常样本,则将其剔除,并重新训练LS-SVM,为下一轮的异常点诊断和剔... 详细信息

提出一种稳健的LS-SVM回归算法.该算法建立在异常样本逐步剔除的框架上,每次循环中选择误差最大的样本加以考察,然后使用统计假设检验方法对其进行诊断.若样本被诊断为异常样本,则将其剔除,并重新训练LS-SVM,为下一轮的异常点诊断和剔除提供更准确的信息.同时为了减少运算复杂度,我们还将减量学习引入到算法的重新训练过程中,从而保证算法的附加复杂度不超过O(N3).仿真数据集和实际数据集上的详细实验证实该算法的优越性,并提供一种使用该算法建立异常样本检测器的思路.

关键词：最小二乘支持向量机(LS-SVM) 回归假设检验异常点减量学习

在线全文

学校读者我要写书评

暂无评论

时间序列异常点及突变点的检测算法

计算机研究与发展 2014年第4期51卷 781-788页

作者：苏卫星朱云龙刘芳胡琨元中国科学院沈阳自动化研究所沈阳110016 中国科学院大学北京100049 华晨汽车工程研究院沈阳110027

针对传统突变点检测算法具有大延时的问题以及实际数据中同时含有突变点、异常点的实际情况,提出一种基于小波变换有效分数向量的异常点、突变点检测算法.该方法通过引入有效分数向量作为检测统计量,有效避免了传统检测统计量随着数据... 详细信息

针对传统突变点检测算法具有大延时的问题以及实际数据中同时含有突变点、异常点的实际情况,提出一种基于小波变换有效分数向量的异常点、突变点检测算法.该方法通过引入有效分数向量作为检测统计量,有效避免了传统检测统计量随着数据增多而无限增大的缺点;提出利用小波分析统计量的办法,有效地克服了传统突变点检测算法中存在大延时的缺陷;利用李氏指数及小波变换的关系,实现了在一个检测框架内同时在线检测异常点以及突变点,使得该检测算法更符合突变点及异常点同时存在的实际情况.仿真实验和性能比较结果证明了提出的异常点、突变点检测算法具有一定的有效性和实用性.

关键词：异常点突变点小波变换 Lipschitz指数时间序列

在线全文

学校读者我要写书评

暂无评论

基于配电网的采样点异常点的处理方法分析

中文科技期刊数据库（全文版）工程技术 2023年第11期 65-70页

作者：陈磊南京磐能电力科技股份有限公司江苏南京210031

振荡波的波形畸变值比较小,并且持续时间比较长,原有的采样点异常点处理方法不能对振荡波的干扰进行有效过滤,导致振荡波的波形畸变对模拟量采集的影响一直存在,且影响较大。考虑到小电流接地系统中单相接地情况复杂多样,因此本文对原... 详细信息

振荡波的波形畸变值比较小,并且持续时间比较长,原有的采样点异常点处理方法不能对振荡波的干扰进行有效过滤,导致振荡波的波形畸变对模拟量采集的影响一直存在,且影响较大。考虑到小电流接地系统中单相接地情况复杂多样,因此本文对原有的采样点异常点处理的方法进行了修改,并进行了相关测试。测试结果表明新的方法能够对振荡波的波形进行有效过滤,并实现对小电流接地系统中单相接地故障进行准确判断。通过以上测试结果可以得出:当前点与前一点的差值无法判断是否为异常点时需要计算当前点与前一点及后一点斜率差值并且斜率的差值乘积小于0。

关键词：模拟量振荡波异常点小电流接地系统暂态录波