检索结果-南通市图书馆

基于闭合频繁模式的半随机森林数据流分类算法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

信阳师范学院学报(自然科学版) 2024年第4期 442-448页

作者：孙艳歌邵罕蒋明毅信阳师范大学计算机与信息技术学院

提出了一种基于闭合频繁模式的半随机森林数据流分类算法(Semi-Random Forest based on Closed Frequent Pattern, SRFCFP),以解决数据流中噪声和概念漂移问题。SRFCFP利用闭合频繁模式对数据流进行表示，去除冗余信息和噪声，突出数据... 详细信息

提出了一种基于闭合频繁模式的半随机森林数据流分类算法(Semi-Random Forest based on Closed Frequent Pattern, SRFCFP),以解决数据流中噪声和概念漂移问题。SRFCFP利用闭合频繁模式对数据流进行表示，去除冗余信息和噪声，突出数据特征。采用半随机森林建立分类模型，并通过基于时间衰减的模式集更新机制适应数据流的无限性。为了检测概念漂移并及时适应，引入了一种模式集差异性度量方式，用于测量数据分布变化。实验结果表明，在MOA平台下使用真实和合成数据集，SRFCFP在平均精度上超越了相关对比算法，并能有效处理数据流中的概念漂移和噪声问题。

关键词：数据流闭合频繁模式半随机森林概念漂移噪声

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

一种基于投影和树的闭合频繁模式算法

模式识别与人工智能 2008年第1期21卷 6-11页

作者：杨传耀张成洪胡运发复旦大学计算机与信息技术系上海200433 复旦大学信息管理与信息系统系上海200433

提出一种基于投影和树的闭合频繁模式挖掘的算法.此算法利用一种数据结构:投影和树,把事务投影到这棵前缀树上,它除了可以从空间上紧凑地存放频繁模式外,还建立了层的概念,挖掘时充分利用已有的计算结果,不重复计算.另外挖掘时,算法只... 详细信息

提出一种基于投影和树的闭合频繁模式挖掘的算法.此算法利用一种数据结构:投影和树,把事务投影到这棵前缀树上,它除了可以从空间上紧凑地存放频繁模式外,还建立了层的概念,挖掘时充分利用已有的计算结果,不重复计算.另外挖掘时,算法只对投影和树进行一次遍历,不需要进行耗时的I/O操作,也不需要递归地建立条件FP树而消耗大量的CPU计算资源.实验结果表明在稠密集上,其效率较高.

关键词：闭合频繁模式数据挖掘投影和树

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

数据流闭合频繁模式挖掘算法的研究

数据流闭合频繁模式挖掘算法的研究

作者：段跃兰哈尔滨工程大学

学位级别：硕士

数据流的出现引发了人们对数据流处理技术的广泛研究。数据流频繁模式挖掘技术就是其中的一种,它在商务决策、知识库的应用中起着重要的作用。但是由于数据流本身动态多变、无限性的特点,全部频繁模式挖掘存在着数据和项集冗余的问题,... 详细信息

数据流的出现引发了人们对数据流处理技术的广泛研究。数据流频繁模式挖掘技术就是其中的一种,它在商务决策、知识库的应用中起着重要的作用。但是由于数据流本身动态多变、无限性的特点,全部频繁模式挖掘存在着数据和项集冗余的问题,挖掘算法的时间和空间复杂度一般较大。Pasquier提出了闭合频繁模式的概念可以惟一确定所有的频繁模式并且数量要小得多,因此闭合频繁模式挖掘的研究具有更重要的意义。本文从研究对象数据流入手,首先介绍了有关数据流的相关知识包括数据流结构、模型和数据流挖掘技术;其次对以数据流为基础的频繁模式和闭合模式挖掘算法进行研究分析,针对Moment算法闭合模式的搜索空间较大,更新数据容易颠簸的不足等缺点,提出了基于Moment的改进闭合模式挖掘算法,该算法是基于二进制表示法和事务滑动窗口的改进算法。算法给出一种自定义的BitVec-gen结构,引入初始生成子概念直接挖掘闭合模式而无需存储其它的频繁模式,同时利用二进制表示的项目之间的位与操作简化支持数的计算,通过二进制移位操作实现项目在滑动窗口中的更新。该算法利用二进制表示法对数据流中的事务和项目进行水平和垂直两个方向上的压缩以节省内存空间,引入传统的闭合模式挖掘算法直接对闭合模式挖掘减少算法的搜索空间,提高算法的挖掘效率。文章最后通过实例分析以及合成数据进行实验,由对比结果可知该算法在保证挖掘结果的同时,在时间和空间上可以有更高的效率。

关键词：数据流挖掘闭合频繁模式事务滑动窗口二进制表示法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

商业数据流频繁模式挖掘算法研究与应用

商业数据流频繁模式挖掘算法研究与应用

作者：谷蓉浙江工商大学

学位级别：硕士

随着知识经济时代的来临,信息与知识已经成为国家和企业发展的重要战略资源,是提高一个组织乃至一个国家战略竞争力的核心,也是实施科学管理与决策的基础。如何获取信息与发现知识,尤其是如何快速高效地在动态变化和爆炸性增长的海量数... 详细信息

随着知识经济时代的来临,信息与知识已经成为国家和企业发展的重要战略资源,是提高一个组织乃至一个国家战略竞争力的核心,也是实施科学管理与决策的基础。如何获取信息与发现知识,尤其是如何快速高效地在动态变化和爆炸性增长的海量数据流中获取信息和发现知识就成了关键性问题。与传统数据不同,数据流具有大量、快速连续到达、要求快速响应、一次扫描等特点。而商业数据流除了具备数据流的基本特点外,还具备连续性、冲突性、时间性、海量性和分布性等特性。因此传统的数据挖掘技术不能直接应用到商业数据流上。利用有限系统资源对商业数据流进行快速处理以获取有用信息,为数据挖掘在商业领域的应用研究带来了新的机遇和挑战。频繁模式挖掘是数据挖掘领域的一个基本问题,研究内容一般包括事务、序列、树和图。其方法被广泛应用于许多其它数据挖掘任务中,如相关性分析,序列周期分析,最大频繁模式,闭合频繁模式,查询,分类等等。由于问题本身的基础性和内在复杂性,频繁模式挖掘方法成为许多研究者关注的课题。本文对商业数据流频繁模式挖掘相关技术进行了研究。重点研究了以下几个问题:商业数据流的层次维度结构分析及其挖掘系统的研究;利用静态前窥树高效挖掘最大频繁模式和闭合频繁模式;利用增量式挖掘方式和倾斜时间窗口分别挖掘商业数据流中的最大模式和闭合模式;频繁模式算法在商业领域的实际应用问题等。本文研究内容和创新工作主要包括以下几个方面:首先,对数据流挖掘及其模型等相关理论进行研究,总结出目前该领域的最新研究成果,以期取其之长运用到商业数据流相关任务的挖掘上。接着,提炼出商业数据流的概念及特点,分析商业数据流的内容层次和类型维度结构,并以此构建出商业数据流管理系统BDSMS。然后,针对静态商业数据海量等特点,设计并实现最大频繁模式挖掘算法MFP和闭合频繁模式算法CFP。其中采取前馈剪枝、合并等策略修剪频繁模式树以提高频繁模式构成速度。在此基础上,针对时间序列模型和收银机模型,改进静态的频繁模式挖掘算法MFP和CFP,分别引入增量式挖掘和倾斜时间窗口得出商业数据流挖掘的单遍扫描算法SMFP和SCFP。最后,本文将上述算法应用到商业特定领域,设计实现了零售行业折扣券生成系统,并对其进行实验分析与研究,挖掘数据表明各算法都具有较高的准确性和时间效率,对商业决策支持具有一定的指导意义。

关键词：数据挖掘数据流频繁模式最大频繁模式闭合频繁模式增量式挖掘倾斜时间窗口

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

从基因芯片数据快速有效地挖掘共调控基因

计算机工程与应用 2010年第9期46卷 33-37页

作者：赵倩尚学群西北工业大学计算机学院西安710129

针对基因芯片数据高噪音、列(基因)数比行(实验条件)数多几个数量级的特殊性,为了进一步提高从基因芯片数据挖掘共调控基因的时间效率和挖掘结果的有效性,首先根据所有两两基因对之间的Pearson相关系数对原始完整数据集进行分组,然后使... 详细信息

针对基因芯片数据高噪音、列(基因)数比行(实验条件)数多几个数量级的特殊性,为了进一步提高从基因芯片数据挖掘共调控基因的时间效率和挖掘结果的有效性,首先根据所有两两基因对之间的Pearson相关系数对原始完整数据集进行分组,然后使用列(基因)枚举方法对各组数据分别进行闭合频繁模式挖掘,并对活化和抑制共调控关系的挖掘分别进行处理。实验结果证明:算法快速有效地挖掘出了两种共调控基因。

关键词：基因芯片数据共调控基因 Pearson相关系数闭合频繁模式

维普期刊数据库

基于不同属性数据流的离群数据挖掘算法的研究

在线全文

学校读者我要写书评

暂无评论

基于不同属性数据流的离群数据挖掘算法的研究

作者：武群惠燕山大学

学位级别：硕士

对国内外数据流离群数据挖掘研究情况分析可知,以往的挖掘算法还存在诸多问题。多数离群数据挖掘方法往往忽略了混合属性数据流的分类属性;简单的分类属性数据流离群数据挖掘由于没有采用合理的加权思想,挖掘出的离群数据偏差较大。这... 详细信息

对国内外数据流离群数据挖掘研究情况分析可知,以往的挖掘算法还存在诸多问题。多数离群数据挖掘方法往往忽略了混合属性数据流的分类属性;简单的分类属性数据流离群数据挖掘由于没有采用合理的加权思想,挖掘出的离群数据偏差较大。这些问题的研究对金融欺诈检测、网络入侵检测、以及天气预报等风险控制领域具有重要的意义。文中首先提出了一种混合属性数据流离群点检测算法HDSOD,引入聚类参考存储数据流的概要信息,先对数据流进行分区,对于每一分区进行聚类,将聚类结果存储于聚类参考中,充分利用聚类参考的存储信息计算其代表度,以及与其相邻的聚类参考的个数,判断该聚类参考是否为离群参考对象,离群参考对象所代表样本点为可能的离群点。该算法在有限内存中有效的对混合属性数据流进行离群点检测。其次,提出了分类属性数据流的离群数据挖掘方法CFPOD-Stream。该算法定义了加权闭合频繁模式离群因子,通过动态发现和维护频繁闭项集来计算离群度,采用带有衰减因子的查询索引结构来处理数据的概念转移现象,有效地检测出离群数据。最后,将离群数据挖掘方法应用于软件漏洞分析,该算法对算法CFPOD-Stream进行改进,发现与离群事务相偏离的闭合频繁项集,用以解释其软件漏洞发生不频繁的原因。本课题使用C++语言对上述算法进行实现,使用现实数据集KDD-CUP-99和仿真数据集对文中提出的算法进行测试,通过对不同处理结果的对比分析,所提出的算法在解决各自的问题上是有效的。

关键词：数据流离群点检测混合属性闭合频繁模式滑动窗口

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于用户网络行为模型的DDoS攻击检测

基于用户网络行为模型的DDoS攻击检测