检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

一种有效的挖掘数据流近似频繁项算法

软件学报 2007年第4期18卷 884-892页

作者：王伟平李建中张冬冬郭龙江哈尔滨工业大学计算机科学与技术学院黑龙江哈尔滨150001

数据流频繁项是指在数据流中出现频率超出指定阈值的数据项.查找数据流频繁项在网络故障监测、流数据分析以及流数据挖掘等多个领域有着广泛的应用.在数据流模型下,算法只能一遍扫描数据,并且可用的存储空间远远小于数据流的规模,因此,... 详细信息

数据流频繁项是指在数据流中出现频率超出指定阈值的数据项.查找数据流频繁项在网络故障监测、流数据分析以及流数据挖掘等多个领域有着广泛的应用.在数据流模型下,算法只能一遍扫描数据,并且可用的存储空间远远小于数据流的规模,因此,挖掘出所有准确的数据流频繁项通常是不可能的.提出一种新的挖掘数据流近似频繁项的算法.该算法的空间复杂性为O(ε^(-1)),每个数据项的平均处理时间为O(1),输出结果的频率误差界限为ε(1-s+ε)N,在目前已有的同类算法中均为最优.

关键词：数据流数据挖掘频繁项 ε-近似

在线全文

学校读者我要写书评

暂无评论

一种自顶向下挖掘长频繁项的有效方法

计算机研究与发展 2004年第1期41卷 148-155页

作者：王晓峰王天然赵越中国科学院沈阳自动化研究所沈阳110003 沈阳化工学院计算机科学与技术学院沈阳110142

Apriori算法已经成为关联规则挖掘中的经典算法 ,被广泛地用于商业决策、银行贷款、金融保险等几乎所有的关联规则挖掘领域之中该方法是一种自底向上的有效挖掘方法 ,对于长频繁项 (如 10 0个项目 )该方法会遇到非常耗时的巨大计算问... 详细信息

Apriori算法已经成为关联规则挖掘中的经典算法 ,被广泛地用于商业决策、银行贷款、金融保险等几乎所有的关联规则挖掘领域之中该方法是一种自底向上的有效挖掘方法 ,对于长频繁项 (如 10 0个项目 )该方法会遇到非常耗时的巨大计算问题采用了一种新的自上而下挖掘方法 ,提出了事务项目关联信息表、关键项目、项目约简、投影数据库等新概念 ,利用投影、约简等方法在候选项集生成过程中及时修剪重复分支 ,使算法的实际效率大为提高 ,较好地解决了长频繁项的挖掘问题通过计算机实验和算法分析证明了这种挖掘方法的有效性和完备性新算法的计算复杂度与项目集平均约简项长度有关 ,估计为 0 5×M3 N×O(2 S×N′2 ) 其中 ,S为系统在用户给定最小支持度条件下的平均约简项长度 ,N′是数据库所对应关系的元组数 ,N为记录数 ,M为项目集平均长度对于长频繁项来说S很小。

关键词：自顶向下数据挖掘关联规则项目约简频繁项

在线全文

学校读者我要写书评

暂无评论

基于计数的数据流频繁项挖掘算法

计算机研究与发展 2011年第10期48卷 1803-1811页

作者：祝然威王鹏刘马金复旦大学计算机科学技术学院上海201203

挖掘数据流的频繁项已受到广泛关注,经典的频繁项挖掘算法尽管能够比较好地找到频繁项,但对频繁项频数的估计往往存在较大误差.SRoEC(segment rotative efficient count),SReEC(segment reserve efficient count)和RFreq(reserve frequent)算法针对该问题,继承基于计数的算法思想,将计数器进行划分并定义相应的操作,以期提高频数统计准确度并减小"噪音"影响.实验和数据分析表明,这些算法不仅能够保证频数超过阈值的数据项都能被找到,而且大大提高了频繁项频数统计的准确性.在同样空间代价下,算法无论在模拟数据集和真实数据集实验中,都表现出较高的频数准确率、较低的频数偏差率和较高的频数保有率,尤其是数据分布较平缓时,算法优势更加明显.

关键词：频繁项 Top—K 数据流数据挖掘频数估计

在线全文

学校读者我要写书评

暂无评论

基于散列和计数方法的网络流频繁项挖掘算法

华中科技大学学报（自然科学版） 2013年第9期41卷 57-62页

作者：赵小欢夏靖波付凯空军工程大学信息与导航学院陕西西安710071

在分析基于计数的流频繁项挖掘算法的优缺点后,针对网络流的实际特性,提出了基于散列方法和计数方法的网络流频繁项挖掘(CBFTSFIM)算法.算法首先采用改进的计数型布鲁姆过滤器(CBF)在不用保存网络流信息的情况下过滤掉部分非频繁项流,... 详细信息

在分析基于计数的流频繁项挖掘算法的优缺点后,针对网络流的实际特性,提出了基于散列方法和计数方法的网络流频繁项挖掘(CBFTSFIM)算法.算法首先采用改进的计数型布鲁姆过滤器(CBF)在不用保存网络流信息的情况下过滤掉部分非频繁项流,使得需要进一步处理的流数目大为减少;然后采用基于时间和流长约束的频繁项挖掘(TSFIM)算法实现流频繁项提取.实际流量数据测试表明:CBFTSFIM算法具有非常高的空间利用率,其在流频繁项提取、流长统计效果上明显优于空间节约计数(SS)等算法.

关键词：网络流数据挖掘散列方法频繁项计数方法计数型布鲁姆过滤器(CBF)

在线全文

学校读者我要写书评

暂无评论

高速网络流频繁项挖掘算法

计算机研究与发展 2014年第11期51卷 2458-2469页

作者：赵小欢夏靖波付凯李明辉中国人民解放军95034部队广西百色533616 空军工程大学信息与导航学院西安710077 空军后勤部北京100720

在当前骨干网络链路速率呈几何倍数增长的情况下,实时准确地挖掘出网络流中的频繁项对于网络管理和网络安全具有重要的意义.在SS(space saving)计数算法的启发之下,针对网络流的实际特性,提出了一种剪枝操作受时间和流长双重约束的网络... 详细信息

在当前骨干网络链路速率呈几何倍数增长的情况下,实时准确地挖掘出网络流中的频繁项对于网络管理和网络安全具有重要的意义.在SS(space saving)计数算法的启发之下,针对网络流的实际特性,提出了一种剪枝操作受时间和流长双重约束的网络流频繁项挖掘算法(integrated weighted frequent items mining,IWFIM).IWFIM计数算法采用时间和流长组合赋权的方式为每个流项赋权,且算法每次剪枝操作时总是删除权值最小的流项.在IWFIM算法的基础上,依据网络流的重尾分布特性,又提出了一种能够结合散列方法和计数方法优点的网络流频繁项挖掘算法(counting Blooming filter and integrated weighted frequent items mining,CBF_IWFIM).CBF_IWFIM算法首先采用改进的计数型布鲁姆过滤器(counting Blooming filter,CBF)在不保存网络流信息的情况下过滤掉绝大部分的短流,然后采用IWFIM算法实现网络流频繁项挖掘.通过实际网络流量测试表明,CBF_IWFIM和IWFIM算法具有非常高的空间利用率和准确率,2种算法对于网络流频繁项的挖掘效果明显优于SS等3种算法,即使在使用其他算法1?3缓存的极端情况下,CBF_IWFIM和IWFIM 2种算法的频繁项识别效果仍然要优于SS等算法.

关键词：网络流频繁项数据挖掘剪枝策略计数算法散列算法重尾分布计数型布鲁姆过滤器

在线全文

学校读者我要写书评

暂无评论

基于不确定数据的频繁项查询算法

东北大学学报（自然科学版） 2011年第3期32卷 344-347页

作者：王爽杨广明朱志良东北大学软件学院辽宁沈阳110819

频繁项的查询是一项非常重要的技术,但在新兴的不确定数据领域却是一项新的研究课题.基于不确定数据,提出了一种新的频繁项定义,并提出了两条过滤规则,可以有效地减少检测数据的数量.最后提出高效的频繁项查询算法UFI,该算法通过找到概... 详细信息

频繁项的查询是一项非常重要的技术,但在新兴的不确定数据领域却是一项新的研究课题.基于不确定数据,提出了一种新的频繁项定义,并提出了两条过滤规则,可以有效地减少检测数据的数量.最后提出高效的频繁项查询算法UFI,该算法通过找到概率求解中的递推规律,极大提高了单点检测效率.实验结果显示:提出的方法可以有效地减少候选集,降低搜索空间,改善在不确定数据上的查询性能.

关键词：频繁项不确定数据剪枝规则不确定数据模型查询处理

基于频繁项集改进的Apriori算法在智能温室中的应用研究

在线全文

学校读者我要写书评

暂无评论

中国农机化学报 2020年第9期41卷 182-189页

作者：皇可毕春光王金龙郭海袁帅吉林农业大学信息技术学院长春市130118 吉林省精准农业与大数据工程研究中心长春市130118

为减少原始Apriori算法在频繁项集与候选项集上扫描整个数据库时间和空间造成大量消耗,采用基于频繁项目集挖掘算法(FIM)来减少项目集,通过减少对候选项集与频繁项集的控制与规则树的剪枝,并在其基础上优化并行算法和针对特定集群分区... 详细信息

为减少原始Apriori算法在频繁项集与候选项集上扫描整个数据库时间和空间造成大量消耗,采用基于频繁项目集挖掘算法(FIM)来减少项目集,通过减少对候选项集与频繁项集的控制与规则树的剪枝,并在其基础上优化并行算法和针对特定集群分区的方法,使用温室蔬菜生长环境数据与产量数据进行试验。试验结果表明:改进算法在平均时间复杂度方面优于原始算法,改进算法的平均运行时间仅为原算法62.5%,新算法适合大规模数据挖掘,特别是候选项与处理事务的数量较大的情况,在不同的最小支持度的条件下,改进后的Apriori降低时间率的平均值为72.40%。

关键词： Apriori 频繁项时间复杂度智能温室产量预测

在线全文

学校读者我要写书评

暂无评论

数据流中频繁项近似挖掘算法

小型微型计算机系统 2009年第8期30卷 1535-1540页

作者：王述云张成洪范颖捷徐和祥胡运发福州大学八方物流学院福建福州350002 复旦大学计算机与信息技术系上海200433 复旦大学信息管理与信息系统系上海200433

提出新的数据结构ESBF(Extensible and Scalable Bloom Filter)-可扩展的Bloom Filter.并提出基于ESBF的数据流中频繁项近似挖掘算法,该算法在保证较高精度的同时,实现比同类算法具有更好的时间效率且在一般情况下具更好的空间效率,并... 详细信息

提出新的数据结构ESBF(Extensible and Scalable Bloom Filter)-可扩展的Bloom Filter.并提出基于ESBF的数据流中频繁项近似挖掘算法,该算法在保证较高精度的同时,实现比同类算法具有更好的时间效率且在一般情况下具更好的空间效率,并证明只需ln((-M)/(lnρ))·e/ε·1/(ε·M)个计数器就能保证满足用户规定的误差ε及可信度ρ要求.

关键词：数据流频繁项 bloom filter

在线全文

学校读者我要写书评

暂无评论

频繁项双向挖掘算法的研究与实现

频繁项双向挖掘算法的研究与实现

作者：张松筠上海海事大学

学位级别：硕士

数据挖掘是帮助人们在海量数据中发现信息和知识的工具。近年来数据挖掘技术成了商业智能的核心技术，被广泛应用到了诸多领域，引起了学术界极大的关注，如何提高数据挖掘的效率成为学术界热门的研究课题。在事务数据库中挖掘关... 详细信息

数据挖掘是帮助人们在海量数据中发现信息和知识的工具。近年来数据挖掘技术成了商业智能的核心技术，被广泛应用到了诸多领域，引起了学术界极大的关注，如何提高数据挖掘的效率成为学术界热门的研究课题。在事务数据库中挖掘关联规则是数据挖掘领域中的一个非常重要的研究课题，目前，关联规则挖掘在商业等领域得到了成功应用，使它成为了数据挖掘中最成熟、最重要、最活跃的研究内容。关联规则侧重于确定数据中不同领域之间的联系，即寻找给定数据集中的有趣联系。通过描述数据库中数据项之间所存在的潜在关系的规则，找出满足给定支持度和置信度阀值的多个域之间的依赖关系。 R．Agrawal等人提出的Apriori算法是最著名的、最有影响的关联规则挖掘算法，它按项目集从小到大的顺序寻找频繁项集。其核心技术为其它各类布尔关联规则挖掘算法所广泛采用。Apriori算法已被广泛用于商业决策、银行贷款、金融保险等领域。但在实践中，人们也发现该方法是在挖掘长频繁项(如100个项目)时，会遇到非常耗时的巨大计算问题。并相继提出了一些优化算法，如基于划分的方法、基于Hash的方法、基于采样的方法，目的在于减少候选集生成的规模和数量，提高算法的使用效率。自顶向下挖掘算法(Topown)，利用事务项目关联信息表、关键项目、项目约简、投影数据库等新概念和投影、约简等新方法，在候选集生成过程中及时修剪重复分支，使算法的实际效率大为提高，较好的解决了长频繁项的挖掘问题，通过计算机实验和算法分析，证明了这种方法的有效性和完备性。但在实验中，我们也发现，在支持度较大，频繁项长度较短时却是利用Apriori方法的有利时机。本文提出了一种结合自顶向下和自底向上的双向挖掘算法，把Topown算法和Apriori算法结合起来使用。主挖掘方向是自顶向下挖掘策略，同时利用自底向上方法生成的非频集来及时修剪候选集，减少候选集生成的规模和数量，有效的提高了算法的实际效率，较好的解决了长、短频繁项的挖掘问题。

关键词：自顶向下自底向上关联规则项目约简频繁项