检索结果-南通市图书馆

非规则流中高维数据流典型相关性分析并行计算方法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

软件学报 2012年第5期23卷 1053-1072页

作者：周勇卢晓伟程春田大连理工大学软件学院辽宁大连116620 大连理工大学水利学院辽宁大连116624

为了满足在计算资源受限的环境下高维数据流处理的实时性要求,提出一种方法——基于GPU(graphicprocessing unit)的非规则流中高维数据流的处理模型和具体的可行架构,并分析设计了相关的并行算法.该六层模型是将GPU处理数据的高宽带性... 详细信息

为了满足在计算资源受限的环境下高维数据流处理的实时性要求,提出一种方法——基于GPU(graphicprocessing unit)的非规则流中高维数据流的处理模型和具体的可行架构,并分析设计了相关的并行算法.该六层模型是将GPU处理数据的高宽带性能结合进滑动窗口中数据流的分析,进而在该框架下基于统一计算设备架构(compute unified device architecture,简称CUDA),使用数据立方模型以及降维约简技术并行分析了多条高维数据流的典型相关性.理论分析和实验结果均表明,该并行处理方法能够在线精确地识别同步滑动窗口模式下高维数据流之间的相关性.相对于纯CPU方法,该方法具有显著的速度优势,很好地满足了高维数据流的实时性需求,可以作为通用的分析方法广泛应用于数据流挖掘领域.

关键词：图形处理器高维数据流典型相关性统一计算设备架构降维约简技术

在线全文

学校读者我要写书评

暂无评论

计算机网络大规模高维数据流异常数据挖掘

黑龙江工业学院学报（综合版） 2023年第8期23卷 105-110页

作者：郑湘辉张雪冰合肥财经职业学院人工智能学院安徽合肥230601

研究计算机网络大规模高维数据流异常数据挖掘方法,有效挖掘计算机网络大规模高维数据流异常数据,提升计算机网络安全性。使用基于Python网络爬虫的数据采集技术采集计算机网络大规模高维数据流,经软件总线模型完成数据流清洗预处理,降... 详细信息

研究计算机网络大规模高维数据流异常数据挖掘方法,有效挖掘计算机网络大规模高维数据流异常数据,提升计算机网络安全性。使用基于Python网络爬虫的数据采集技术采集计算机网络大规模高维数据流,经软件总线模型完成数据流清洗预处理,降低数据流规模与维度后,利用基于枢纽现象与加权离群分数的离群数据挖掘算法,经计算机网络数据流数据对象K近邻查询、K近邻数据对象离群分数和求解与加权、区分度阈值生成等操作,获取计算机网络数据流异常数据,并通过构建卷积神经网络异常数据类型识别模型,有效识别异常数据类型。实验结果表明:该方法可有效挖掘计算机网络大规模高维数据流数据中存在的异常数据,异常数据挖掘与识别准确性较高,可显著提升计算机网络安全性。

关键词：加权离群分数计算机网络大规模高维数据流异常数据挖掘数据清洗

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

高维数据流的聚类离群点检测算法研究

江西师范大学学报（自然科学版） 2014年第5期38卷 449-453页

作者：程艳苗永春江西师范大学计算机信息工程学院江西南昌330022

针对基于聚类的离群点检测算法在处理高维数据流时效率和精确度低的问题,提出一种高维数据流的聚类离群点检测(CODHD-Stream)算法.该算法首先采用滑动窗口技术对数据流划分,然后通过属性约简算法对高维数据集降维;其次运用基于距离的信... 详细信息

针对基于聚类的离群点检测算法在处理高维数据流时效率和精确度低的问题,提出一种高维数据流的聚类离群点检测(CODHD-Stream)算法.该算法首先采用滑动窗口技术对数据流划分,然后通过属性约简算法对高维数据集降维;其次运用基于距离的信息熵过滤机制的K-means聚类算法将数据集划分成微聚类,并检测微聚类的离群点.通过实验结果分析表明:该算法可以有效提高高维数据流中离群点检测的效率和准确度.

关键词：高维数据流滑动窗口属性约简 K-均值微聚类信息熵离群点检测

在线全文

学校读者我要写书评

暂无评论

高维数据流异常节点动态跟踪仿真研究

计算机仿真 2020年第10期37卷 445-449页

作者：熊菊霞吴尽昭中国科学院成都计算机应用研究所四川成都610041 中国科学院大学北京100049 广西民族大学广西混杂计算与集成电路设计分析重点实验室广西南宁530006

针对传统方法难以对异常节点动态实时跟踪,且运行时间较长问题,提出一种基于高维数据流异常节点动态跟踪方法。首先,根据网络数据流的特性,通过时间系列中的平均距离和累计距离,实施高维数据流异常检测。然后建立传感器测量模型得到所... 详细信息

针对传统方法难以对异常节点动态实时跟踪,且运行时间较长问题,提出一种基于高维数据流异常节点动态跟踪方法。首先,根据网络数据流的特性,通过时间系列中的平均距离和累计距离,实施高维数据流异常检测。然后建立传感器测量模型得到所有节点的观测方程。再运用最小二乘法,得到目标状态的初始化信息并完成定位。利用网络节点生存期函数,在满足目标跟踪可靠度要求的前提下选取生存期最大的节点参与目标跟踪。采用动态成簇策略,阶段性的选择唤醒任务节点检测目标,根据离散时间线性一致性算法,使其达到可观测状态。最后采用协方差矩阵的平均值来完成高维数据流异常节点动态跟踪。实验结果表明:上述方法能够大幅降低系统的能耗,节省大量时间,具有高效性、准确性和优质的鲁棒性。

关键词：高维数据流节点动态最小二乘法协方差矩阵

在线全文

学校读者我要写书评

暂无评论

高维数据流异常检测算法的研究与应用

高维数据流异常检测算法的研究与应用

作者：余立苹苏州大学

学位级别：硕士

异常检测旨在从数据集中快速有效识别异常点,在金融数据分析、网络安全等领域被广泛应用。而以物联网数据为代表的高维数据流具有海量、异构有噪声,实时性要求高等特性,这使得传统的数据分析算法检测出异常点的效果不明显,而且时间复杂... 详细信息

异常检测旨在从数据集中快速有效识别异常点,在金融数据分析、网络安全等领域被广泛应用。而以物联网数据为代表的高维数据流具有海量、异构有噪声,实时性要求高等特性,这使得传统的数据分析算法检测出异常点的效果不明显,而且时间复杂度高,具有潜在的局限性。高维数据流的异常检测面临着一定的挑战。针对高维数据流的特点和应用背景,本文分别提出了一种高效的实时数据异常检测算法和一种改进的趋势分析算法。经仿真实验和以电梯传感器数据流作为检测对象的测试分析,算法均表现出了较高的可靠性。主要的工作内容如下:（1）基于高维数据流的特点和已有角度方差算法时间复杂度高等问题,提出改进的基于角度方差的异常检测算法HDSOD。结合信息熵理论对高维数据流保留价值信息,达到降维的目的;采用网格划分思想,构建了最佳数据集网格和最近数据集网格的小规模数据流计算集,以此计算最新数据点的角度方差异常因子,并通过实时更新网格的机制保证数据检测精度。（2）提出了一种改进的数据流趋势分析算法。根据实际的应用需求,基于数据流变化的剧烈程度,选择使用不同的算法对其进行趋势分析,从而提高了数据流趋势分析的精度,为所监控数据对象提供故障预警和重要的决策支持。（3）以电梯异常检测和故障预警为应用目标,将异常检测算法和改进的趋势分析算法用于分析电梯传感器数据流。仿真实验结果表明,异常检测算法能有效对监控对象提供实时异常检测和故障预警,本文提出算法更适用于实时性要求高的物联网高维数据流的异常检测。

关键词：高维数据流异常检测趋势分析角度方差网格划分

基于控制过度遗漏发现概率的高维数据流异常诊断

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

数理统计与管理 2020年第3期39卷 495-510页

作者：杨梓樱濮晓龙徐嘉辉华东师范大学上海200062

随着科技的创新和社会的进步,数据采集技术得到显著提升,高维数据流(High-dimensional Data Stream,HDS)在医学、机械、工业工程等领域开始广泛出现。除了HDS的在线监控之外,精确而高效的故障诊断也变的越来越重要。在本文中,我们将HDS... 详细信息

随着科技的创新和社会的进步,数据采集技术得到显著提升,高维数据流(High-dimensional Data Stream,HDS)在医学、机械、工业工程等领域开始广泛出现。除了HDS的在线监控之外,精确而高效的故障诊断也变的越来越重要。在本文中,我们将HDS的故障诊断问题阐述为一个新颖的多重检验问题,并通过控制过度遗漏发现概率(Missed Discovery Excessive Probability,MDX)来对HDS进行异常诊断,克服了传统诊断方法的限制,并能够显著的提高异常诊断的稳健性和精确度。我们给出了MDX的Monte-Carlo近似计算方法,并在此基础上提出了Oracle和DataDriven诊断程序。我们通过模拟研究和一个实例分析来阐明所提方法的优越特性。

关键词：故障诊断高维数据流统计过程控制过度遗漏发现概率多重检验

在线全文

学校读者我要写书评

暂无评论

基于高维数据流的异常检测算法

计算机工程 2018年第1期44卷 51-55页

作者：余立苹李云飞朱世行苏州大学计算机科学与技术学院江苏苏州215006

传统基于欧氏距离的异常检测算法在高维数据检测中存在精度无法保证以及运行时间过长的问题。为此,结合高维数据流的特点运用角度方差的方法,提出一种改进的基于角度方差的数据流异常检测算法。通过构建最佳数据集网格和最近数据网格的... 详细信息

传统基于欧氏距离的异常检测算法在高维数据检测中存在精度无法保证以及运行时间过长的问题。为此,结合高维数据流的特点运用角度方差的方法,提出一种改进的基于角度方差的数据流异常检测算法。通过构建最佳数据集网格和最近数据网格的小规模数据流计算集,以快速即时地衡量最新数据点的异常程度,将改进的算法用于无线传感器网络采集的电梯真实数据流检测,实现电梯故障检测。实验结果表明,与ABOD、HODA等算法相比,改进算法能有效识别高维数据流中的异常点,可适用于实时性要求高的传感器高维数据流。

关键词：数据挖掘高维数据流异常检测海量数据角度方差

在线全文

学校读者我要写书评

暂无评论

基于粒度理论的高维数据流并行计算方法

计算机仿真 2021年第5期38卷 246-249,422页

作者：路晶胡顺仿中国民用航空飞行学院四川广汉618307 云南民族大学云南昆明650000

以实现多种形态高维数据流的高效、精确并行计算为出发点,提出基于粒度理论的高维数据流并行计算方法。使用基于动态粒度的数据流挖掘模型,高效挖掘高维数据流;利用基于局部保持投影原理和主成分分析原理压制高维数据流噪声,减少高维数... 详细信息

以实现多种形态高维数据流的高效、精确并行计算为出发点,提出基于粒度理论的高维数据流并行计算方法。使用基于动态粒度的数据流挖掘模型,高效挖掘高维数据流;利用基于局部保持投影原理和主成分分析原理压制高维数据流噪声,减少高维数据流噪声隐患;依据降噪后不同高维数据流特点,采用高维数据流相关性分析并行计算方法,得到高维数据的皮尔逊积差相关系数,实现数据流关联,并基于数据流十字转门模型,定义适合高维数据流分析的滑动数据流窗口模式,实现高维数据流的并行计算。实验结果验证,上述方法挖掘高维数据流的内存消耗低,高维数据流数据去噪能力强,具备较高的高维数据流并行计算精度,且并行计算效率高。

关键词：粒度理论动态粒度高维数据流皮尔逊积差并行计算

在线全文

学校读者我要写书评

暂无评论

高维数据流的自适应子空间聚类算法

计算机科学与探索 2010年第9期4卷 859-864页

作者：任家东周玮玮何海涛燕山大学信息科学与工程学院河北秦皇岛066004 北京理工大学计算机科学技术学院北京100081

高维数据流聚类是数据挖掘领域中的研究热点。由于数据流具有数据量大、快速变化、高维性等特点,许多聚类算法不能取得较好的聚类质量。提出了高维数据流的自适应子空间聚类算法SAStream。该算法改进了HPStream中的微簇结构并定义了候选... 详细信息

高维数据流聚类是数据挖掘领域中的研究热点。由于数据流具有数据量大、快速变化、高维性等特点,许多聚类算法不能取得较好的聚类质量。提出了高维数据流的自适应子空间聚类算法SAStream。该算法改进了HPStream中的微簇结构并定义了候选簇,只在相应的子空间内计算新来数据点到候选簇质心的距离,减少了聚类时被检查微簇的数目,将形成的微簇存储在金字塔时间框架中,使用时间衰减函数删除过期的微簇;当数据流量大时,根据监测的系统资源使用情况自动调整界限半径和簇选择因子,从而调节聚类的粒度。实验结果表明,该算法具有良好的聚类质量和快速的数据处理能力。

关键词：高维数据流子空间聚类数据流流量自适应