基于Spark框架的FP-Growth大数据频繁项集挖掘算法

作     者：邵梁 何星舟 尚俊娜 Shao Liang;He Xingzhou;Shang Junna

作者机构：浙江建设职业技术学院教育技术中心杭州311231 浙江工业大学学生处杭州311231 杭州电子科技大学通信工程学院杭州310018 

出 版 物：《计算机应用研究》 (Application Research of Computers)

年 卷 期：2018年第35卷第10期

页      面：2932-2935页

学科分类：08[工学] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(166223123) 浙江省自然科学基金资助项目(jg20160405) 

主　　题：大数据 频繁项集挖掘 Spark框架 FP-Growth算法 垂直布局 

摘      要：针对大数据中的频繁项集挖掘问题,提出一种基于Spark框架的FP-Growth频繁项集并行挖掘算法。首先,根据垂直布局思想将数据按照事务标志符垂直排列,以此解决扫描整个数据集的缺陷;然后,通过FPGrowth算法构建频繁模式树,并生成频繁1-项集;接着,通过扫描垂直数据集来计算项集的支持度,从而识别出非频繁项,并将其从数据集中删除以降低数据尺寸;最后,通过迭代过程来生成频繁k-项集。在标准数据集上的实验结果表明,该算法能够有效挖掘出频繁项集,在执行时间方面具有很大的优越性。