基于Spark框架和ASPSO策略的并行划分聚类算

作     者：毛伊敏 甘德瑾 廖列法 陈志刚 

作者机构：江西理工大学信息工程学院 中南大学计算机学院 

出 版 物：《通信学报》 (Journal on Communications)

年 卷 期：2022年

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

基　　金：科技创新2030-“新一代人工智能”重大项目(No.2020AAA0109605) 国家自然科学基金资助项目(No.41562019) 

主　　题：Spark框架 并行划分聚类 网格划分 ASPSO策略 并行化合并 

摘      要：针对划分聚类算法处理海量数据存在数据离散系数较大与抗干扰性差、局部簇簇数难以确定、局部簇质心随机性及局部簇并行化合并效率低等问题，提出了一种基于Spark框架和ASPSO策略的并行划分聚类PDC-SFASPSO算法。首先，提出了基于皮尔逊相关系数和方差的网格划分策略获取数据离散系数较小的网格单元并进行离群点过滤，解决了数据离散系数较大与抗干扰性差的问题；其次，提出了基于势函数与高斯函数的网格划分策略，获取局部聚类的簇数，解决了局部簇簇数难以确定的问题；再次，提出了基于粒子群优化的ASPSO策略，获取局部簇质心，解决了局部簇质心的随机性问题；最后，提出了基于簇半径与邻居节点的合并策略对相似度大的簇进行并行化合并，提高了局部簇并行化合并的效率。实验结果表明，PDC-SFASPSO算法在大数据环境下进行数据的划分聚类具有较好的性能表现，适用于对大规模的数据集进行并行化聚类。