检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

行程时间异常值处理方法研究

武汉理工大学学报（交通科学与工程版） 2012年第1期36卷 116-119页

作者：李晓莉石建军北京工业大学北京市交通工程重点实验室北京100124 天津市市政工程研究院天津300074

基于车牌识别数据可以得到较为准确的行程时间数据,但是由于识别系统自身原因、驾驶员路径选择行为、停车行为等因素的影响,行程时间数据中存在不少的异常值,剔除异常值才能将所得数据应用于实际研究和服务.在详细分析了行程时间异常值... 详细信息

基于车牌识别数据可以得到较为准确的行程时间数据,但是由于识别系统自身原因、驾驶员路径选择行为、停车行为等因素的影响,行程时间数据中存在不少的异常值,剔除异常值才能将所得数据应用于实际研究和服务.在详细分析了行程时间异常值产生原因的基础上,提出了基于异常值数据表现以及行程时间分布特征的异常值剔除方法,最后以北京市的车牌识别系统数据为例,验证了方法的适用性.

关键词：车牌识别数据行程时间异常值处理标准差绝对偏差

基于异常值处理的随机森林和kNN模型在EEG数据中的应用

在线全文

学校读者我要写书评

暂无评论

基于异常值处理的随机森林和kNN模型在EEG数据中的应用

作者：王灿强兰州大学

学位级别：硕士

最近以来,随着深度学习和人工智能技术的快速进步,研究人员开始借助于这些新技术来研究关于脑电图的问题。使用脑电图,医生能够更好地诊断脑部疾病;研究人员也能够更好地了解脑电波与行为活动之间的关系,从而研发更加智能的设备。本文... 详细信息

最近以来,随着深度学习和人工智能技术的快速进步,研究人员开始借助于这些新技术来研究关于脑电图的问题。使用脑电图,医生能够更好地诊断脑部疾病;研究人员也能够更好地了解脑电波与行为活动之间的关系,从而研发更加智能的设备。本文通过将脑电图测量仪器采集的脑电图数据作为输入,将对应的人的眼睛的状态作为输出来进行脑电图的研究。为有效提高脑电图数据眼睛状态分类的可靠性及精确度,本文根据脑电图数据的规律及脑电图在人睁眼闭眼时数据变化的特征,提出了基于数据异常值处理的随机森林和kNN模型。本文首先对原始数据进行数据预处理:这部分主要包含对数据的缺失值处理、异常值处理和一致性分析;对于本文使用的数据,我们使用统计量分析和分维可视化图来处理数据集中的异常值。然后,在数据进行异常值处理后,使用随机森林和kNN建立具体的模型。对于随机森林,主要对模型的OOB误差率和变量的重要性进行讨论;对于kNN模型,由于k值对模型比较关键,本文通过在训练集上采用交叉验证的方法来确定k值,进而使用确定后的k值来进行测试集的评价。最后为了显示随机森林和kNN算法这两个模型在该数据集上的有效性,本文使用决策树、Bagging和SVM模型作为对比方法,进行模型的比较,同时也讨论了数据集中样本的不均衡性对模型的影响。结果表明:本文提出的基于异常值处理的随机森林和kNN模型具有更好的预测准确度,随机森林的预测精确度达到92.9392%,kNN算法的预测精确度达到97.0946%。由此,随机森林和kNN算法都是有效的该脑电图数据的预测模型,尤其是kNN算法,相比本文中的其他方法,其具有最好的预测效果。

关键词：脑电图分类异常值处理 k最近邻随机森林

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于稳健滤波技术的测量异常值处理的研究

传感技术学报 2002年第4期15卷 374-376页

作者：温江涛王玉田孙洁娣燕山大学电气工程学院河北秦皇岛066004 燕山大学信息科学与工程学院河北秦皇岛066004

本文基于稳键滤波的 M估计技术 ,提出了一种全新的、对大型旋转机械的表面参数测量中出现的异常值的处理方法 ,并给出了数学模型和实验结果。经过此方法处理后的测量数据 ,可以保证在时间顺序上不会发生断裂 ,而且消除了异常值的影响 ,... 详细信息

本文基于稳键滤波的 M估计技术 ,提出了一种全新的、对大型旋转机械的表面参数测量中出现的异常值的处理方法 ,并给出了数学模型和实验结果。经过此方法处理后的测量数据 ,可以保证在时间顺序上不会发生断裂 ,而且消除了异常值的影响 ,取得了令人满意的结果并为数据的进一步处理、存储和显示做好准备工作。

关键词：稳健滤波 M估计表面参数测量异常值处理

在线全文

学校读者我要写书评

暂无评论

基于多模型融合的热工过程异常值处理方法

计算机仿真 2024年第2期41卷 108-114页

作者：吴铮张悦董泽李玲华北电力大学控制与计算机工程学院北京102206 河北省发电过程仿真与优化控制技术创新中心河北保定071003 上海电力大学自动化工程学院上海200090

火电机组异常值的检测与修正是热工系统建模的基础。针对热工过程数据具有强耦合、高维度、非线性和时变性等特性,提出了一种基于多模型融合的热工过程异常值处理方法。采用粒子群优化概率神经网络方法对异常值进行检测,解决了常规基于... 详细信息

火电机组异常值的检测与修正是热工系统建模的基础。针对热工过程数据具有强耦合、高维度、非线性和时变性等特性,提出了一种基于多模型融合的热工过程异常值处理方法。采用粒子群优化概率神经网络方法对异常值进行检测,解决了常规基于经验估计和有限样本聚类寻优不能完整表示整体空间概率特性的问题。针对常规Nadaraya-Watson回归方法在选取光滑参数时易导致过拟合和出现残差、偏差的问题,提出了一种基于滑动窗口优化Nadaraya-Watson回归的方法,自适应填补异常数据。仿真结果表明,所提方法的异常检测和填补效果相较于常规方法分别提升了26.7%和1.76%,证明了方法的有效性。

关键词：异常值处理概率神经网络粒子群优化滑动窗口热工过程

在线全文

学校读者我要写书评

暂无评论

基于反常项集的异常值处理算法

数据挖掘 2021年第3期11卷 150-166页

作者：崔晨李贵李征宇韩子扬曹科研沈阳建筑大学信息与控制工程学院辽宁沈阳

异常值指的是数据中的噪声和不一致值。异常值检测与处理往往依赖于约束规则,通常的约束规则包括条件函数依赖、否定约束、编辑规则等。但对于特定领域,这些领域约束规则需要由领域专家制定,基于数据挖掘和机器学习算法,难以高效地发现... 详细信息

异常值指的是数据中的噪声和不一致值。异常值检测与处理往往依赖于约束规则,通常的约束规则包括条件函数依赖、否定约束、编辑规则等。但对于特定领域,这些领域约束规则需要由领域专家制定,基于数据挖掘和机器学习算法,难以高效地发现这些领域约束规则。本文提出了一种用于数据清洗的反常项集的概念,与基于数据分布密度的异常值检测算法类似,反常项集是数据中不太可能出现的非常态取值组合。在此基础上,本文引入了加权调和提升度的概念及特性,利用改进的等价类变换算法挖掘低提升度的反常项集。并采用准反常项集对数据更正进行预计算,给出了一种类似于近邻插补算法的异常值更正算法,以保证异常值处理质量。在房地产信息数据集下的实验表明,基于反常项集的异常值检测与处理算法具有较高的精度,同时能够避免在数据修复中引入新的异常。

关键词：异常值处理数据清洗模式挖掘反常项集

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

强夯数字化施工的关键参数计算方法研究

路基工程 2025年

作者：张小强段甲生么学春李伟黄子淇中交建筑集团有限公司中交建筑集团东南建设有限公司中南大学土木工程学院河南交投郑平高速公路有限公司

以焦平高速公路工程为例，开发强夯数字化施工数据采集系统，完成对夯锤实时坐标、行程以及缆绳张力的数据采集。结合施工特点分析异常数据成因，并统计数据分布特征，提出异常值剔除方法及夯点位置、夯击次数、夯锤提升高度、夯沉量等... 详细信息

以焦平高速公路工程为例，开发强夯数字化施工数据采集系统，完成对夯锤实时坐标、行程以及缆绳张力的数据采集。结合施工特点分析异常数据成因，并统计数据分布特征，提出异常值剔除方法及夯点位置、夯击次数、夯锤提升高度、夯沉量等关键参数的计算方法。结果表明：采用施工状态分割算法、空间聚类算法和异常值处理等方法，可较准确地实现强夯施工关键参数的计算；与现场测量数据对比可知，计算关键参数的误差范围均满足施工要求。

关键词：路基工程强夯数字化施工数据采集系统聚类分析异常值处理关键参数计算

基于集成学习的混凝土坝变形监测数据异常值识别与处理方法研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于集成学习的混凝土坝变形监测数据异常值识别与处理方法研究

作者：葛佳豪西安理工大学

学位级别：硕士

在混凝土坝众多监测项目中,变形能够真实、直观、准确地反映混凝土坝安全性态变化,是混凝土坝监测数据最重要的分析内容。然而,由于传感器缺陷、监测系统故障、人为失误等因素的影响,混凝土坝变形监测数据中不可避免的会存在大量的异常... 详细信息

在混凝土坝众多监测项目中,变形能够真实、直观、准确地反映混凝土坝安全性态变化,是混凝土坝监测数据最重要的分析内容。然而,由于传感器缺陷、监测系统故障、人为失误等因素的影响,混凝土坝变形监测数据中不可避免的会存在大量的异常值。如何有效地识别变形监测数据中的异常值,并针对识别的异常值进行有效的处理已成为了混凝土坝安全监测领域密切关注的重要科学问题。本文为提升异常值识别和处理后模型的精度,充分考虑混凝土坝变形测点间的时空关联特性,在经典数理统计和深度学习模型基础上,融合集成学习理论,开展混凝土坝变形监测数据异常值识别与处理的研究,提高变形监测数据的完整性与可靠性,为混凝土坝变形监测数据分析提供全面可靠的数据支撑。本文主要研究内容和成果如下:(1)针对传统变形监测数据异常值识别方法未充分考虑大坝变形时空关联特性的不足,系统梳理混凝土坝变形异常值的类型及数据变化特征,考虑混凝土坝变形测点间的时空关联特性,融合蜜獾优化算法(Honey Badger Algorithm,HBA)和双向长短时记忆神经网络(Bi-directional Long Short Term Memory,BiLSTM),构建了基于时空聚类的混凝土坝变形监测数据异常值识别模型,可对异常变形值进行有效识别,其精准率、召回率和加权评价指标分别为100%、88.89%、94.12%,进而为混凝土坝变形监测数据的异常值处理提供技术支撑。(2)针对传统变形监测数据异常值处理后的插补模型多为单一机器学习模型问题,引入集成学习中的Stacking模型作为集成框架,将不同类型的基于卷积神经网络的双向门控循环单元(Convolutional Neural Networks-Bidirectional Gated Recurrent Units,CNN-BiGRU)、极限梯度提升机(Extreme Gradient Boosting,XGBoost)和最小二乘支持向量机(Least Squares Support Vector Machine,LSSVM)作为 Stacking 集成学习的基学习器,将具有较强自适应能力的高斯过程回归(Gaussian Process Regression,GPR)作为元学习器进行集成,构建基于客观赋权法CRITIC法的学习器权重分配方法。最终,建立基于集成学习的混凝土坝变形监测数据异常值处理模型,以PL4-2测点为例,相较于其他对比模型,其在RMSE和MAE指标上分别提升了 72%、69%、77%、58%和73%、69%、78%、56%。有效提升模型的预测精度和泛化性能,实现对变形监测数据中异常值处理后针对监测数据的插补。(3)为进一步验证异常值识别和处理后对于混凝土坝变形监测数据建模分析研究的重要性,针对异常值处理前后不同建模数据条件下预测模型精度提升效果进行分析,通过对比研究含有异常值的样本数据集、基于删除处理的样本数据集、基于插补处理的样本数据集,将上述不同类型的样本数据集作为分析对象,利用经典的支持向量机(Support Vector Machines,SVM)、极限学习机(Extreme Learning Machine,ELM)、随机森林(Random Forest,RF)、反向传播(BackPropagation,BP)神经网络和多元线性回归(Multiple Linear Regression,MLR)等预测模型进行预测分析。通过模型精度评价指标对比检验所提异常值识别与处理方法对于混凝土坝变形建模分析的重要意义。

关键词：混凝土坝异常值识别异常值处理集成学习时空聚类深度学习

道路工程智能压实数据异常值识别处理方法研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

市政技术 2018年第5期36卷 17-19页

作者：谢扬广东省建筑设计研究院广东广州510010

智能压实技术在道路压实质量过程控制中扮演着越来越重要的角色,准确识别和处理道路智能压实数据异常值具有重要意义。鉴于智能压实技术会产生庞大数据的特点,首先利用拉依达准则对智能压实数据进行识别,并在此基础上将异常值进行剔除,... 详细信息

智能压实技术在道路压实质量过程控制中扮演着越来越重要的角色,准确识别和处理道路智能压实数据异常值具有重要意义。鉴于智能压实技术会产生庞大数据的特点,首先利用拉依达准则对智能压实数据进行识别,并在此基础上将异常值进行剔除,然后再利用线性插值法计算得到新的估算值来对智能压实数据的异常值进行修正补充。结果表明,智能压实数据的概率分布模型近似服从正态分布,满足拉依达准则使用的前提,利用线性插值法对异常值剔除点进行估算插值处理后,能够使智能压实数据的波动从整体上变得更加平稳,具有较好的插值效果。

关键词：道路工程智能压实数据异常值识别异常值处理

潮滩上应用ADV进行波浪观测与特征参数计算

在线全文

学校读者我要写书评

暂无评论

海洋通报 2016年第5期35卷 523-531页

作者：芦军范代读涂俊彪张悦张艳伟同济大学海洋地质国家重点实验室上海200092 长江大学地球科学学院湖北武汉430100

声学多普勒流速仪（ADV：Acoustic Doppler Velocimetry）可以同时测量水体流速与水压的高频变化信息,通过合理的设置采样工作模式和数据后处理方法,可以计算得到高精度的波浪特征参数。本次实验选择在长江口南汇边滩低潮滩开展野外观测... 详细信息

声学多普勒流速仪（ADV：Acoustic Doppler Velocimetry）可以同时测量水体流速与水压的高频变化信息,通过合理的设置采样工作模式和数据后处理方法,可以计算得到高精度的波浪特征参数。本次实验选择在长江口南汇边滩低潮滩开展野外观测,布放仪器包括ADV和光学后向散射浊度计（OBS）各一台,均采用连续工作模式,ADV采样频率为32 Hz。数据处理首先进行原始流速观测数据的信号质量检查和异常值去除等步骤,剔除信噪比小于5 d B或相关系数小于70%的观测数据;对压力数据进行中心化和消除趋势项处理,降低因潮位变化引起的偏移。在运用传递函数将压力谱转换成表面波谱时,需要首先确定一个截断频率,对比分析发现,潮滩环境采用高频截断频率固定在0.5 Hz效果最理想。通过计算得到观测期间的主要波浪特征参数值分别为,有效波高为0.03～0.51 m,平均有效波高为0.3 m;平均周期为2.52～7.22 s,平均跨零周期为2.46～6.57 s;波浪的轨道流速为0.03～0.13 m/s,平均轨道流速为0.09 m/s。波高与水深之间具有良好的正相关关系,说明对于潮滩上固定站点,涨落潮水位变化是制约波高发展的重要因素。可见,ADV可以实现对潮滩流场和波浪作用的同步观测,为开展波流共同作用下潮滩沉积地貌演变的沉积动力学研究提供了手段与方法支持。

关键词：潮滩 ADV 异常值处理截断频率波浪参数