检索结果-南通市图书馆

基于信息熵与遗传算法的并行关联规则增量挖掘算法

在线全文

学校读者我要写书评

暂无评论

通信学报 2021年第5期42卷 122-136页

作者：毛伊敏邓千虎陈志刚江西理工大学信息工程学院江西赣州341000 中南大学计算机学院湖南长沙410083

针对大数据环境下基于Can树的增量关联规则算法存在树结构空间占用过大、支持度阈值无法动态设置以及Map与Reduce阶段数据传输耗时等问题,提出了一种基于信息熵和遗传算法的并行关联规则增量挖掘算法MR-PARIMIEG。首先,该算法设计基于... 详细信息

针对大数据环境下基于Can树的增量关联规则算法存在树结构空间占用过大、支持度阈值无法动态设置以及Map与Reduce阶段数据传输耗时等问题,提出了一种基于信息熵和遗传算法的并行关联规则增量挖掘算法MR-PARIMIEG。首先,该算法设计基于信息熵的相似项合并策略(SIM-IE)来合并相似数据项,并根据合并后的数据集进行Can树构造,从而减少树结构的空间占用;其次,提出基于遗传算法的DST-GA策略获取大数据环境下相对最优的动态支持度阈值,根据此阈值进行频繁项集挖掘,避免了冗余的频繁模式挖掘导致的时间消耗;最后,在MapReduce并行化运算过程中使用并行LZO数据压缩算法对Map端输出数据进行压缩,从而减少传输的数据规模,最终提升算法的运行速度。实验仿真结果表明,MR-PARIMIEG在大数据环境下进行频繁项集挖掘时具有较好的性能表现,适用于对较大规模的数据集进行并行化处理。

关键词： Can树信息熵大数据增量挖掘数据压缩

在线全文

学校读者我要写书评

暂无评论

状态转移模式的三支增量挖掘

郑州大学学报（理学版） 2020年第1期52卷 16-23页

作者：曾圣超张智恒闵帆张紫茵西南石油大学计算机科学学院四川成都610500 四川旅游学院信息与工程学院四川成都610100

针对动态多元时间序列(MTS)上的状态转移模式(STAP)挖掘问题,提出一种准确高效的三支增量挖掘算法(3IU-STAP)。该算法根据原始数据、已有频繁STAP和增量数据构造出候选模式,使用频繁阈值将其划分至正域、负域以及边界域。仅边界域中的... 详细信息

针对动态多元时间序列(MTS)上的状态转移模式(STAP)挖掘问题,提出一种准确高效的三支增量挖掘算法(3IU-STAP)。该算法根据原始数据、已有频繁STAP和增量数据构造出候选模式,使用频繁阈值将其划分至正域、负域以及边界域。仅边界域中的候选模式需要延迟决策,即通过扫描数据集来判断其是否频繁。准确性方面,设计了增量数据补齐技术,获得候选模式实际出现次数。效率方面,使用了向下封闭性质来控制候选模式数量,尽可能减少对数据的扫描。在4个真实数据集上的实验结果表明,与非增量方法相比,3IU-STAP可以得到准确结果,同时显著提高效率。

关键词：多元时序三支决策序列模式增量挖掘

在线全文

学校读者我要写书评

暂无评论

Web日志增量挖掘研究及应用

武汉理工大学学报 2010年第24期32卷 118-120页

作者：习慧丹郭勇黔南民族师范学院计算机科学系都匀558000

针对动态变化的Web日志数据库,研究一种基于概念格的从最大频繁项集产生所有页面强规则的Web日志增量挖掘方法,对Web日志挖掘模式库的更新具有重要意义。

关键词： Web日志挖掘模式发现增量挖掘概念格

在线全文

学校读者我要写书评

暂无评论

面向电子商务的增量挖掘算法

计算机工程 2007年第4期33卷 61-63页

作者：宁红云刘金兰天津大学管理学院

对商务信息挖掘理论进行了研究,给出了电子商务运作模式的定义、性质、定理及相关证明;提出了一种用于跟踪电子商务活动的数据模型,在模型中定义了网页监控点与商务指标之间的“点-集”映射关系,建立了商务网站的访问事件、网页中事先... 详细信息

对商务信息挖掘理论进行了研究,给出了电子商务运作模式的定义、性质、定理及相关证明;提出了一种用于跟踪电子商务活动的数据模型,在模型中定义了网页监控点与商务指标之间的“点-集”映射关系,建立了商务网站的访问事件、网页中事先设定的监控点,以及商务工作流程之间的联系;根据这些研究结果对关联规则挖掘算法中的发现和剪枝过程进行改进,设计了面向电子商务的增量挖掘算法,并在第三方物流信息系统中实现。实践表明,该算法在频繁变化的数据集中的挖掘效率大大高于传统的非增量挖掘算法,基于智能Agent技术的商务信息挖掘模型有效地提高了电子商务的实时跟踪与分析能力。

关键词：增量挖掘电子商务关联规则

在线全文

学校读者我要写书评

暂无评论

Web数据挖掘中的增量挖掘

计算机工程 2002年第4期28卷 67-69页

作者：何炎祥陈伟孔维强张戈武汉大学计算机学院软件工程国家重点实验室武汉430072

为了高效及时地处理频繁新增的数据,在Web挖掘中引入增量挖掘的方法,并给出了一个Web关联规则增量挖掘的有效算法。

关键词：数据挖掘 Web 增量挖掘关联规则数据库 Internet

在线全文

学校读者我要写书评

暂无评论

一种改进的增量挖掘算法

计算机工程 2010年第24期36卷 42-44页

作者：李春喜赵雷苏州大学计算机科学与技术学院江苏苏州215006

Pre-FUFP算法基于次频繁项的概念有效处理了频繁模式树的更新,但当有次频繁项变成频繁项时,需要判定原数据库中哪些事务包含该数据项。为此,通过引入次频繁项对应原事务标识符的索引确定需要处理原数据库的事务,减少这一过程所消耗的时... 详细信息

Pre-FUFP算法基于次频繁项的概念有效处理了频繁模式树的更新,但当有次频繁项变成频繁项时,需要判定原数据库中哪些事务包含该数据项。为此,通过引入次频繁项对应原事务标识符的索引确定需要处理原数据库的事务,减少这一过程所消耗的时间,并用基于压缩FP-tree和矩阵技术代替原始FP-growth挖掘出频繁模式。实验证明该算法在时间效率上较Pre-FUFP有大幅度提高。

关键词：频繁模式次频繁项集增量挖掘

在线全文

学校读者我要写书评

暂无评论

移动计算环境中用户移动模式的增量挖掘

计算机工程与应用 2005年第7期41卷 167-169页

作者：薛丹李德敏胡水东华大学信息技术学院东华大学信息技术学院上海200051

该文主要对移动日志数据库不断更新的问题,提出了增量挖掘的方法,挖掘用户的移动模式。其主要思想是利用原来数据库的挖掘结果,通过将候选模式分成两部分,并适当剪枝,计算在原来数据库和新增数据库中的支持度得到频繁模式,从而提高挖掘... 详细信息

该文主要对移动日志数据库不断更新的问题,提出了增量挖掘的方法,挖掘用户的移动模式。其主要思想是利用原来数据库的挖掘结果,通过将候选模式分成两部分,并适当剪枝,计算在原来数据库和新增数据库中的支持度得到频繁模式,从而提高挖掘效率。

关键词：增量挖掘移动模式用户实际路径

PFPonCanTree:一种基于MapReduce的并行频繁模式增量挖掘算法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机工程与科学 2018年第1期40卷 15-23页

作者：肖文胡娟周晓峰河海大学文天学院安徽马鞍山243000

频繁模式挖掘是最重要的数据挖掘任务之一,传统的频繁模式挖掘算法是以"批处理"方式执行的,即一次性对所有数据进行挖掘,无法满足不断增长的大数据挖掘的需要。MapReduce是一种流行的并行计算模式,在并行数据挖掘领域已得到了广泛的应... 详细信息

频繁模式挖掘是最重要的数据挖掘任务之一,传统的频繁模式挖掘算法是以"批处理"方式执行的,即一次性对所有数据进行挖掘,无法满足不断增长的大数据挖掘的需要。MapReduce是一种流行的并行计算模式,在并行数据挖掘领域已得到了广泛的应用。将传统频繁模式增量挖掘算法CanTree向MapReduce计算模型进行了迁移,实现了并行的频繁模式增量挖掘。实验结果表明,提出的算法实现了较好的负载均衡,执行效率有明显提升。

关键词：数据挖掘频繁模式挖掘增量挖掘 MapReduce Hadoop PFP

在线全文

学校读者我要写书评

暂无评论

改进的并行关联规则增量挖掘算法

计算机应用研究 2021年第10期38卷 2974-2980页

作者：毛伊敏邓千虎邓小鸿刘蔚江西理工大学信息工程学院江西赣州341000 江西理工大学应用科学学院江西赣州341000

针对大数据环境下基于Can树(canonical order tree)的增量关联规则算法存在树结构空间占用过大、频繁模式挖掘效率不佳以及MapReduce集群并行化性能不足等问题,提出了一种基于粗糙集和归并剪枝方法改进的并行关联规则增量挖掘算法MR-PAR... 详细信息

针对大数据环境下基于Can树(canonical order tree)的增量关联规则算法存在树结构空间占用过大、频繁模式挖掘效率不佳以及MapReduce集群并行化性能不足等问题,提出了一种基于粗糙集和归并剪枝方法改进的并行关联规则增量挖掘算法MR-PARIRM(MapReduce-based parallel association rules incremental mining algorithm using rough set and merge pruning)。首先,设计了一种基于粗糙集的相似项合并策略RS-SIM(rough set based similar item merge)对数据集的相似项进行合并处理,并根据合并后的数据进行Can树构造,从而降低树结构的空间占用;其次,提出了一种归并剪枝策略MPS(merge pruning strategy)对树结构中的传播路径进行修剪合并,通过压缩频繁模式搜索空间来加快频繁项挖掘;最后,通过动态调度策略DSS(dynamic scheduling strategy)对异构式MapReduce集群中的计算任务进行动态调度,实现了负载均衡,有效提升了集群的并行化运算能力。最终的实验仿真结果表明,MR-PARIRM在大数据环境下具有相对较好的性能表现,适用于对大规模数据进行并行化处理。

关键词： Can树粗糙集归并剪枝大数据增量挖掘