检索结果-南通市图书馆

基于MapReduce与相关子空间的局部离群数据挖掘算法

在线全文

学校读者我要写书评

暂无评论

软件学报 2015年第5期26卷 1079-1095页

作者：张继福李永红秦啸荀亚玲太原科技大学计算机科学与技术学院山西太原030024 Department of Computer Science and Software Engineering Auburn UniversityAuburnUSA

针对高维海量数据,在Map Reduce编程模型下,提出了一种基于相关子空间的局部离群数据挖掘算法.该算法首先利用属性维上的局部稀疏程度,重新定义了相关子空间,从而能够有效地刻画各种局部数据集上的分布特征;其次,利用局部数据集的概率密... 详细信息

针对高维海量数据,在Map Reduce编程模型下,提出了一种基于相关子空间的局部离群数据挖掘算法.该算法首先利用属性维上的局部稀疏程度,重新定义了相关子空间,从而能够有效地刻画各种局部数据集上的分布特征;其次,利用局部数据集的概率密度,给出了相关子空间中的局部离群因子计算公式,有效地体现了相关子空间中数据对象不服从局部数据集分布特征的程度,并选取离群程度最大的N个数据对象定义为局部离群数据;在此基础上,采用LSH分布式策略,提出了一种Map Reduce编程模型下的局部离群数据挖掘算法;最后,采用人工数据集和恒星光谱数据集,实验验证了该算法的有效性、可扩展性和可伸缩性.

关键词：局部离群数据相关子空间 Map Reduce 局部稀疏度概率密度

在线全文

学校读者我要写书评

暂无评论

相关子空间中的局部离群数据挖掘算法研究

小型微型计算机系统 2015年第3期36卷 460-465页

作者：李永红张继福荀亚玲太原科技大学计算机科学与技术学院太原030024

针对高维数据集,采用局部稀疏差异和局部密度差异的度量因子,给出一种相关子空间中的局部离群数据挖掘算法.该算法根据K最近邻(K-NN),确定数据集中各数据对象的局部数据集,并依据属性值的稀疏因子生成全局的稀疏因子矩阵和局部稀疏因子... 详细信息

针对高维数据集,采用局部稀疏差异和局部密度差异的度量因子,给出一种相关子空间中的局部离群数据挖掘算法.该算法根据K最近邻(K-NN),确定数据集中各数据对象的局部数据集,并依据属性值的稀疏因子生成全局的稀疏因子矩阵和局部稀疏因子矩阵,从而有效地反映了数据对象的局部稀疏程度;根据局部稀疏因子矩阵,计算属性维对应的局部稀疏差异因子,并确定数据对象对应的子空间定义向量,从而体现了具有任意性相关的相关子空间;如果数据对象存在相关子空间,则采用高斯误差函数体现相关子空间中各数据对象的局部密度差异,有效地降低了"维灾"的影响,使得离群数据的度量与相关子空间的维度无关,并能够度量相关子空间的数据对象,否则设置数据对象的局部密度差异为0,表明其为正常数据;选取局部密度差异(离群程度)最大的若干数据对象作为局部离群数据;最后采用UCI和恒星光谱数据集,实验验证了该算法的有效性.

关键词：局部离群数据高维数据集局部稀疏差异局部密度差异相关子空间

基于相关子空间本征音分析的MAP快速自适应

在线全文

学校读者我要写书评

暂无评论

清华大学学报（自然科学版） 2004年第6期44卷 829-832页

作者：罗骏欧智坚王作英清华大学电子工程系北京100084

本征音自适应是一种快速自适应算法 ,它根据对说话人矢量全空间的本征分析指导参数更新。该文提出一种基于子空间分析的本征音自适应算法 ,并且不同于一般本征音自适应采用最大似然准则的做法 ,该算法用最大后验准则以更好地估计参数。... 详细信息

本征音自适应是一种快速自适应算法 ,它根据对说话人矢量全空间的本征分析指导参数更新。该文提出一种基于子空间分析的本征音自适应算法 ,并且不同于一般本征音自适应采用最大似然准则的做法 ,该算法用最大后验准则以更好地估计参数。实验证明 ,在仅有 1句自适应数据的情况下它即能取得 6 .4 5 %的相对误识率下降 ,自适应速度远快于传统的最大后验方法 ,也不存在最大似然线性回归方法在极少数据量情况下反而造成系统识别性能下降的现象。结果表明该方法并不明显依赖相关子空间的划分数量。

关键词：信息处理语音识别快速自适应本征音最大似然最大后验相关子空间

在线全文

学校读者我要写书评

暂无评论

基于相关子空间的扩展隔离森林离群检测算法

计算机技术与发展 2022年第10期32卷 26-33,40页

作者：刘佳朱鹏云荀亚玲太原科技大学计算机科学与技术学院山西太原030024

扩展隔离森林离群检测作为一种集成离群检测方法,可选取随机斜率的超平面,具有将离群数据与正常数据对象快速分离,时间复杂度较低等优点,但隔离树超平面选取在数据集密集区域或含有无关维度数据区域时,严重影响了其离群检测的效果。采... 详细信息

扩展隔离森林离群检测作为一种集成离群检测方法,可选取随机斜率的超平面,具有将离群数据与正常数据对象快速分离,时间复杂度较低等优点,但隔离树超平面选取在数据集密集区域或含有无关维度数据区域时,严重影响了其离群检测的效果。采用相关子空间思想和方法,提出了一种扩展隔离森林离群检测算法。该算法利用高斯混合模型确定数据对象的相关子空间,从而保证了能够在稀疏数据区域中选取隔离树的切割超平面;隔离树分枝分割优先在稀疏数据区域中,选择隔离树超平面的随机截距点,可快速地将离群数据对象从稀疏数据区域中隔离出来,从而避免了在超平面的随机斜率选取时无关属性维度的干扰;将每个数据对象在各隔离树上的平均路径长度归一化后作为离群得分,并选取离群得分最大的若干个数据对象作为离群数据;在UCI数据集上通过实验验证了该算法的有效性,以及抽样数、隔离树个数和近邻数参数对其离群检测效果的影响。

关键词：离群检测扩展隔离森林相关子空间高斯混合模型稀疏数据区域

在线全文

学校读者我要写书评

暂无评论

基于相关子空间的高维离群数据检测算法

计算技术与自动化 2022年第1期41卷 82-86页

作者：赵向兵张天刚山西大同大学计算机与网络工程学院山西大同037009

为了提高离群数据检测精度和效率,提出了一种基于相关子空间的离群数据检测算法。该算法首先根据数据局部密度分布特征得出稀疏度矩阵,通过高斯相似核函数放大稀疏度特征;然后计算各属性维中数据稀疏度相似因子,确定子空间向量及相关子... 详细信息

为了提高离群数据检测精度和效率,提出了一种基于相关子空间的离群数据检测算法。该算法首先根据数据局部密度分布特征得出稀疏度矩阵,通过高斯相似核函数放大稀疏度特征;然后计算各属性维中数据稀疏度相似因子,确定子空间向量及相关子空间,结合数据稀疏度和维度权值得出数据对象的离群因子,选取最大的若干个对象为离群数据;最后采用人工数据集和UCI实验数据集验证算法准确性和有效性。

关键词：数据挖掘离群数据稀疏度高斯核函数相似度因子相关子空间仿真实验算法分析

在线全文

学校读者我要写书评

暂无评论

一种基于加权概率密度的上下文离群检测算法

计算机应用与软件 2024年第2期41卷 279-285页

作者：白慧张继福太原科技大学计算机科学与技术学院山西太原030024

采用加权概率密度,提出一种上下文离群数据检测算法。利用高斯混合模型和稀疏度矩阵,确定相关子空间;在相关子空间中,采用加权概率密度局部异常因子公式,计算数据对象的离群因子,可以有效反映和刻画数据对象与其周围数据对象的不一致程... 详细信息

采用加权概率密度,提出一种上下文离群数据检测算法。利用高斯混合模型和稀疏度矩阵,确定相关子空间;在相关子空间中,采用加权概率密度局部异常因子公式,计算数据对象的离群因子,可以有效反映和刻画数据对象与其周围数据对象的不一致程度;选取离群因子最大的N个数据对象为离群数据,并将离群因子、相关子空间属性取值、局部数据集作为其上下文信息,有效地改善了离群数据的可解释性;采用人工和UCI数据集,实验验证了算法的有效性。

关键词：离群检测相关子空间加权概率密度上下文信息

在线全文

学校读者我要写书评

暂无评论

相关子空间中的局部离群数据挖掘及应用

相关子空间中的局部离群数据挖掘及应用

作者：李永红太原科技大学

学位级别：硕士

随着科技的飞速发展，数据在不断的积累，人类已经进入了大数据时代，但随着数据的急速增加和维度的不断扩大，如何能高质量和高效率的从高维大数据中获取想要的信息，已经成为当前数据挖掘领域研究的热点。本文采用MapReduce编程模型... 详细信息

随着科技的飞速发展，数据在不断的积累，人类已经进入了大数据时代，但随着数据的急速增加和维度的不断扩大，如何能高质量和高效率的从高维大数据中获取想要的信息，已经成为当前数据挖掘领域研究的热点。本文采用MapReduce编程模型，对基于相关子空间的离群数据挖掘算法进行了研究，其主要成果如下： 1)采用局部稀疏差异和局部密度差异的度量因子，给出了一种相关子空间中的局部离群数据挖掘算法。该算法根据K最近邻（K-NN），确定数据集中各数据对象的局部数据集，并依据属性值的稀疏因子生成全局的稀疏因子矩阵和局部稀疏因子矩阵，从而有效地反映了数据对象的局部稀疏程度;根据局部稀疏因子矩阵，计算属性维对应的局部稀疏差异因子，并确定数据对象对应的子空间定义向量，从而体现了具有任意性相关的相关子空间;如果数据对象存在相关子空间，则采用高斯误差函数体现相关子空间中各数据对象的局部密度差异，有效地降低了“维灾”的影响，使得离群数据的度量与相关子空间的维度无关，并能够度量相关子空间的数据对象，否则设置数据对象的局部密度差异为0，表明其为正常数据;选取局部密度差异（离群程度）最大的若干数据对象作为局部离群数据;最后采用UCI和恒星光谱数据集，实验验证了该算法的有效性。 2)采用MapReduce编程模型，给出了基于相关子空间的局部离群数据挖掘并行算法。该算法针对上述1)中的相关子空间中的局部离群数据挖掘算法，首先分析了概率局部异常因子（PLOF）计算的并行化，并给出了在MapReduce模型下的实现过程;其次采用LSH分布式策略，给出了一种MapReduce编程模型下的局部离群数据并行挖掘算法;最后采用人工数据集和恒星光谱数据集，实验验证了该算法的有效性、可扩展性和可伸缩性。 3)在上述研究基础上，以JDK为开发工具，设计并实现了基于相关子空间的天文光谱离群数据挖掘原型系统，并对实现技术进行了详细说明，从而为寻找未知的、特殊的天体提供了一种新途径。

关键词：局部离群数据相关子空间高维海量数据 MapReduce 概率密度

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

高斯混合模型下的相关子空间与离群数据挖掘

小型微型计算机系统 2018年第11期39卷 2491-2496页

作者：樊盼盼张继福太原科技大学计算机科学与技术学院太原030024

相关子空间是一种与离群数据有关的属性集维集合,可有效地降低"维灾"的影响.本文利用高斯混合模型重新定义了相关子空间,并且给出了一种相关子空间的离群挖掘算法.该算法首先根据k近邻算法,确定数据集中各数据对象的局部数据集,并依据... 详细信息

相关子空间是一种与离群数据有关的属性集维集合,可有效地降低"维灾"的影响.本文利用高斯混合模型重新定义了相关子空间,并且给出了一种相关子空间的离群挖掘算法.该算法首先根据k近邻算法,确定数据集中各数据对象的局部数据集,并依据属性值的稀疏度生成全局的稀疏度矩阵,稀疏度矩阵有效地体现出数据的稀疏性和稠密性;其次,利用高斯混合模型和稀疏度矩阵,识别数据对象的相关子空间和不相关子空间,避免了不相关子空间对度量离群数据的影响;然后,在相关子空间中,利用数据对象每个维度的稀疏度和属性权值,计算数据对象的离群值,并选取离群值较大的若干个对象作为离群数据;最后采用人工和UCI数据集,实验验证了该算法的有效性.

关键词：离群挖掘相关子空间高斯混合模型稀疏度

相对隶属度、相对Fuzzy集和相关子空间及其性质

在线全文

学校读者我要写书评

暂无评论

陕西师范大学学报（自然科学版） 1997年第2期25卷 20-24页

作者：白永成郑亚林汉中师范学院数学系宝鸡文理学院数学系

建立了相对隶属度、相对Ｆｕｚｚｙ集、相对Ｆｕｚｚｙ点和相关子空间等概念，研究其基本性质，证明了相对Ｆｕｚｚｙ集族ＢＡＩＸ是完全分配格，相关算子ｆ是从ＩＸ到ＢＡＩＸ的满ＧＯＨ，非退化相对Ｆｕｚｚｙ点集ＢＡＭ是ＢＡＩＸ中... 详细信息

建立了相对隶属度、相对Ｆｕｚｚｙ集、相对Ｆｕｚｚｙ点和相关子空间等概念，研究其基本性质，证明了相对Ｆｕｚｚｙ集族ＢＡＩＸ是完全分配格，相关算子ｆ是从ＩＸ到ＢＡＩＸ的满ＧＯＨ，非退化相对Ｆｕｚｚｙ点集ＢＡＭ是ＢＡＩＸ中所有非零∪－既约元之集．得到了子分子格ＢＡＩＸ＊与相关分子格ＢＡＩ＊是代数同构的。

关键词：相对隶属度相对模糊度相关子空间拓扑