检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

一种基于规则的离群挖掘算法

计算机技术与发展 2006年第12期16卷 73-75,78页

作者：张璐璐贾瑞玉李杰安徽大学计算机科学与技术学院安徽合肥230039

离群数据挖掘是指从大量数据中挖掘明显偏离、不满足一般行为模式的数据。现有的离群数据挖掘算法大多对密集的交易数据库缺乏有效的处理,文中提出了一种高效的基于规则的离群挖掘算法。该算法使用了多层最大离群支持度及最小离群兴趣度... 详细信息

离群数据挖掘是指从大量数据中挖掘明显偏离、不满足一般行为模式的数据。现有的离群数据挖掘算法大多对密集的交易数据库缺乏有效的处理,文中提出了一种高效的基于规则的离群挖掘算法。该算法使用了多层最大离群支持度及最小离群兴趣度,计算1-离群条件集的幂集,并在数据结构中存储了交易标识符链表,使得扫描数据库的次数仅为一次,从而提高了挖掘的速度、效率且使得结果更具有决策意义。文中使用此算法对某一商场的部分销售数据库进行了实验,结果表明该算法能有效、迅速地发现密集数据库中的离群数据。

关键词：数据挖掘离群数据离群挖掘支持度兴趣度

在线全文

学校读者我要写书评

暂无评论

离群点挖掘及其内涵知识发现研究

离群点挖掘及其内涵知识发现研究

作者：连凤娜厦门大学

学位级别：硕士

数据是当今信息社会宝贵的资源,发现并利用潜藏在那些复杂数据集中的有用知识已成为科学决策的前提。数据挖掘技术通过关联规则、聚类及分类等方法实现从大量的、不完全的、有噪声的数据中,提取隐含在其中的、人们事先不知道的、潜在有... 详细信息

数据是当今信息社会宝贵的资源,发现并利用潜藏在那些复杂数据集中的有用知识已成为科学决策的前提。数据挖掘技术通过关联规则、聚类及分类等方法实现从大量的、不完全的、有噪声的数据中,提取隐含在其中的、人们事先不知道的、潜在有用的信息和知识。离群挖掘是数据挖掘中的一项重要技术。所谓离群点就是那些明显偏离其它数据、不满足数据的一般模式或行为,以至于被怀疑可能是由另外一种完全不同的机制产生的数据对象。离群数据不等同于错误数据,有的离群数据可能蕴含着重要的信息。如欺诈行为、入侵行为、不寻常的消费行为等。因此,对离群数据进行研究具有十分重要的意义。离群挖掘可分为3个子问题:①在给定的数据集合中什么样的数据是被认为不一样的;②找到一个有效的方法来挖掘这样的离群点;③对离群点的合理解释,即离群点的内涵知识。已有的很多离群挖掘算法都只是集中于前两个子问题,即在检测出离群点后未能揭示离群点的内涵知识,而这个才是用户真正关心的问题,也是我们挖掘的真正目的。本文提出了一种基于关联空间的离群挖掘算法,能够找出造成离群点离群的最小属性集,揭示离群点的内涵知识——正是这些属性造成了离群点的离群。具体地讲,本文的研究工作主要包含以下几个方面: ①研究了数据挖掘相关概念和技术,包括数据挖掘功能和分类、数据预处理、聚类分析及关联规则。 ②分析了k-means算法的优缺点,并总结了各种初始中心选取方法,最后提出了一种新的初始值选取方法。 ③对基于距离的离群挖掘技术进行了较为全面的分析和总结,设计了一种基于k-最近邻距离和的离群挖掘算法,介绍了基于分区的算法。 ④通过分析算法FindNonTrivialOuts,提出了一种基于关联空间的离群挖掘算法,并给出实验验证。

关键词：离群挖掘内涵知识关联空间

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

离群点挖掘在入侵检测中的研究与应用

离群点挖掘在入侵检测中的研究与应用

作者：闫少华广东工业大学

学位级别：硕士

随着计算机的普及和网络技术的飞速发展,新类型的入侵行为层出不穷,人们迫切需要能检测出新类型入侵行为的技术。入侵检测中的异常检测技术从理论上能解决这个问题,因此出现了多种异常检测方法。数据挖掘中的大多数算法是针对数据集一... 详细信息

随着计算机的普及和网络技术的飞速发展,新类型的入侵行为层出不穷,人们迫切需要能检测出新类型入侵行为的技术。入侵检测中的异常检测技术从理论上能解决这个问题,因此出现了多种异常检测方法。数据挖掘中的大多数算法是针对数据集一般模式的研究,但是现实生活中的各种领域,经常出现一些与数据集的一般行为或模型不一致的数据对象,这些对象称为离群点。对离群点的识别就是对数据集“小模式”的研究。在网络活动中,正常行为远远多于入侵行为,入侵行为本身在本质上有别于正常行为,即入侵行为与正常行为是不一致的。因此,采用离群点挖掘技术来识别入侵行为包括识别出新类型的入侵行为具有一定的理论基础和实践意义。本文主要研究了离群点挖掘方法应用于入侵检测的有关问题,针对国内外有关离群点挖掘方法及其在入侵检测中的应用进行深入研究,结合数据挖掘中的聚类算法进行进一步学习研究,设计了基于离群点挖掘方法的入侵检测模型,同时用聚类算法对数据进行噪声处理,提高算法的运算时间和效率。本文主要工作包括：(1)对入侵检测的相关技术及数据挖掘中的离群挖掘方法进行深入的研究,分析不同入侵检测技术的研究和发展状况;对不同离群挖掘方法分析其优缺点及其他们各自方法应用在入侵检测中的优势,得出有效的结论,把他们应用到入侵检测中。(2)对入侵检测的通用模型进行研究分析,并给出了针对离群挖掘方法的入侵检测模型。(3)由于网络数据集的规模比较庞大,对网络数据集即KDD99数据集进行研究分析,针对本文提出的改进的基于密度的局部离群挖掘对数据集的属性进行特征提取,在数据预处理模块提高了效率,从而有效的提高了离群挖掘的效率。(4)对离群挖掘方法中的基于密度的局部离群挖掘方法进行更加深入的分析和研究;然后对基于密度的局部离群挖掘方法进行改进,结合数据挖掘中的聚类算法提出一种新的离群挖掘方法。(5)对提出的结合聚类算法的基于密度的离群挖掘方法进行试验,把这种离群挖掘方法应用到入侵检测中检测方法的效果。本文把改进的离群挖掘方法应用于入侵检测中,通过试验评估其性能。其实验数据来源于KDD CUP1999数据集。对改进的方法从检测率和误报率两方面进行评估,实验表明该算法针对特征提取的数据集,对新类型的入侵行为具有很好的检测结果。总的来说,本文提出的算法在异常入侵检测中取得了较好的效果。

关键词：网络安全入侵检测异常检测离群挖掘 KDDCUP数据集

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

企业关联交易图的离群点挖掘研究

北京信息科技大学学报（自然科学版） 2019年第2期34卷 9-13页

作者：赵晓永赵熙岑北京信息科技大学信息管理学院北京100192

发现异常的企业关联交易是审计的重要任务之一。但目前企业之间的关联交易构成了复杂的交易图,传统审计方法在如此繁杂的数据中发现异常的难度越来越大。对企业关联交易图的离群点挖掘进行了研究,分析了关联交易图数据的特点,根据这些... 详细信息

发现异常的企业关联交易是审计的重要任务之一。但目前企业之间的关联交易构成了复杂的交易图,传统审计方法在如此繁杂的数据中发现异常的难度越来越大。对企业关联交易图的离群点挖掘进行了研究,分析了关联交易图数据的特点,根据这些特点对r PCA、CMGOS和One-class SVM三种离群点挖掘算法进行了对比,并提出了一种采用密度峰值聚类DPC来改进的CMGOS算法。实验表明,One-class SVM算法作为一种数据新颖性检测方法,不适于异常企业关联交易挖掘场景;而企业关联交易数据的节点属性对依赖性的影响,r PCA算法与CMGOS算法较适合于企业关联交易图离群挖掘,改进后的CMGOS算法检测离群点的效果得到了较好的提升。

关键词：关联交易图数据密度峰值离群挖掘

在线全文

学校读者我要写书评

暂无评论

一种离群数据挖掘新方法的研究与应用

控制与决策 2006年第5期21卷 563-566,571页

作者：闫伟张浩陆剑峰同济大学CIMS研究中心上海电力学院信息控制系上海200092

离群数据挖掘是数据挖掘的重要内容.利用蚁群算法鲁棒性强的优点,改进了聚类方法.在此基础上,将聚类分析和蚁群算法某些参数相结合,提出一种基于聚类的离群指数新定义,成功地实现了离群数据挖掘过程并编程实现.采用此方法对流程企业的... 详细信息

离群数据挖掘是数据挖掘的重要内容.利用蚁群算法鲁棒性强的优点,改进了聚类方法.在此基础上,将聚类分析和蚁群算法某些参数相结合,提出一种基于聚类的离群指数新定义,成功地实现了离群数据挖掘过程并编程实现.采用此方法对流程企业的大量历史数据进行分析,从而起到了对设备运行优化和故障预警的作用.

关键词：离群挖掘蚁群算法聚类分析流程企业

在线全文

学校读者我要写书评

暂无评论

基于属性聚类的离群数据挖掘算法

中北大学学报（自然科学版） 2018年第3期39卷 310-315页

作者：李俊丽张继福太原科技大学计算机科学与技术学院山西太原030024 晋中学院信息技术与工程学院山西晋中030619

针对现实生活中出现的越来越多的高维海量分类数据,基于属性聚类的方法,提出了一种新的离群数据挖掘算法.该算法首先通过计算属性之间的相关性,将高维分类数据的属性分成多个属性子集,然后在多个属性子集上根据离群得分分别进行离群挖掘... 详细信息

针对现实生活中出现的越来越多的高维海量分类数据,基于属性聚类的方法,提出了一种新的离群数据挖掘算法.该算法首先通过计算属性之间的相关性,将高维分类数据的属性分成多个属性子集,然后在多个属性子集上根据离群得分分别进行离群挖掘,最终选择离群得分最大的k个数据对象作为离群数据.通过采用人工数据集和UCI数据集验证了算法的有效性和可行性,实验结果表明,该算法在精度和效率方面都有提高,可用于高维海量分类数据的离群挖掘.

关键词：高维数据分类数据离群挖掘属性聚类

在线全文

学校读者我要写书评

暂无评论

高斯混合模型下的相关子空间与离群数据挖掘

小型微型计算机系统 2018年第11期39卷 2491-2496页

作者：樊盼盼张继福太原科技大学计算机科学与技术学院太原030024

相关子空间是一种与离群数据有关的属性集维集合,可有效地降低"维灾"的影响.本文利用高斯混合模型重新定义了相关子空间,并且给出了一种相关子空间的离群挖掘算法.该算法首先根据k近邻算法,确定数据集中各数据对象的局部数据集,并依据... 详细信息

相关子空间是一种与离群数据有关的属性集维集合,可有效地降低"维灾"的影响.本文利用高斯混合模型重新定义了相关子空间,并且给出了一种相关子空间的离群挖掘算法.该算法首先根据k近邻算法,确定数据集中各数据对象的局部数据集,并依据属性值的稀疏度生成全局的稀疏度矩阵,稀疏度矩阵有效地体现出数据的稀疏性和稠密性;其次,利用高斯混合模型和稀疏度矩阵,识别数据对象的相关子空间和不相关子空间,避免了不相关子空间对度量离群数据的影响;然后,在相关子空间中,利用数据对象每个维度的稀疏度和属性权值,计算数据对象的离群值,并选取离群值较大的若干个对象作为离群数据;最后采用人工和UCI数据集,实验验证了该算法的有效性.

关键词：离群挖掘相关子空间高斯混合模型稀疏度

在线全文

学校读者我要写书评

暂无评论

一种基于加权深度森林的离群数据挖掘算法

小型微型计算机系统 2022年第7期43卷 1426-1431页

作者：李瑞峰杨海峰蔡江辉荀亚玲周永祥太原科技大学计算机科学与技术学院太原030024

深度森林是一种有效的机器学习方法,但在级联森林模块中,森林中子树的特征选择随机性较大,使用传统的平均值法可能导致森林的预测概率存在一定误差,从而影响整个算法性能.针对以上问题,提出了一种基于加权深度森林离群数据挖掘算法(Weig... 详细信息

深度森林是一种有效的机器学习方法,但在级联森林模块中,森林中子树的特征选择随机性较大,使用传统的平均值法可能导致森林的预测概率存在一定误差,从而影响整个算法性能.针对以上问题,提出了一种基于加权深度森林离群数据挖掘算法(Weight Deep Forest,WDF).首先,通过森林的预测概率定义权重因子μ,描述当前层森林准确率大小;其次,在级联森林模块的构建过程中,把权重因子μ作为级联层中每个森林的权重,从而降低森林中根节点特征的随机选择对算法性能的影响;根据数据样本分布的不同,通过计算其类密度重新定义了局部孤立因子α,描述数据离群程度大小;最后利用UCI数据集以及LAMOST光谱数据对算法进行验证,结果表明该算法与同类算法相比在离群点检测方面具有更高的挖掘质量.

关键词：深度森林级联森林权重因子孤立因子离群挖掘

一种基于枢纽现象和加权离群分数的离群数据挖掘算法

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

小型微型计算机系统 2018年第10期39卷 2248-2253页

作者：郭峰张继福太原科技大学计算机科学技术学院太原030024

针对高维数据集中出现的枢纽现象,本文给出了一种基于枢纽现象和加权离群分数的离群数据挖掘算法.该算法首先根据逆k近邻中出现的枢纽现象,以及与离群数据的关系,利用k近邻中的距离信息作为权值,对逆k近邻的离群分数进行加权;其次随机... 详细信息

针对高维数据集中出现的枢纽现象,本文给出了一种基于枢纽现象和加权离群分数的离群数据挖掘算法.该算法首先根据逆k近邻中出现的枢纽现象,以及与离群数据的关系,利用k近邻中的距离信息作为权值,对逆k近邻的离群分数进行加权;其次随机生成区分度阈值,根据该阈值判断区分度比例满意值,并根据满意值计算数据对象的离群程度,选取离群程度最大的若干数据对象作为离群数据;最后采用人工数据集和UCI标准数据集,实验验证了该算法的有效性.

关键词：离群挖掘枢纽现象逆k近邻离群分数满意值