基于Spark框架的FP-Growth大数据频繁项集挖掘算法
Frequent item sets mining algorithm for big data based on FP-Growth and Spark framework作者机构:浙江建设职业技术学院教育技术中心杭州311231 浙江工业大学学生处杭州311231 杭州电子科技大学通信工程学院杭州310018
出 版 物:《计算机应用研究》 (Application Research of Computers)
年 卷 期:2018年第35卷第10期
页 面:2932-2935页
学科分类:08[工学] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术(可授工学、理学学位)]
基 金:国家自然科学基金资助项目(166223123) 浙江省自然科学基金资助项目(jg20160405)
主 题:大数据 频繁项集挖掘 Spark框架 FP-Growth算法 垂直布局
摘 要:针对大数据中的频繁项集挖掘问题,提出一种基于Spark框架的FP-Growth频繁项集并行挖掘算法。首先,根据垂直布局思想将数据按照事务标志符垂直排列,以此解决扫描整个数据集的缺陷;然后,通过FPGrowth算法构建频繁模式树,并生成频繁1-项集;接着,通过扫描垂直数据集来计算项集的支持度,从而识别出非频繁项,并将其从数据集中删除以降低数据尺寸;最后,通过迭代过程来生成频繁k-项集。在标准数据集上的实验结果表明,该算法能够有效挖掘出频繁项集,在执行时间方面具有很大的优越性。