Spark框架下混合SACS-GS的大数据清洗方法

作     者：何翼 田华 HE Yi;TIAN Hua

作者机构：铜仁学院大数据学院贵州铜仁554300 

出 版 物：《西南师范大学学报（自然科学版）》 (Journal of Southwest China Normal University(Natural Science Edition))

年 卷 期：2020年第45卷第7期

页      面：123-129页

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：贵州省教育厅创新群体重大研究项目(黔教合KY字051) 

主　　题：大数据清洗 Spark框架 自适应布谷鸟算法 引力搜索算法 异常检测 

摘      要：提出一种Spark框架下自适应布谷鸟搜索(self-adaptive cuckoo search,SACS)和引力搜索(Gravitational Search,GS)算法的混合SACS-GS方法,并给出了Spark框架下SACS-GS方法大数据清洗方案.首先提出自适应布谷鸟算法,给出两种改进的搜索策略,通过线性递减概率规则将两种策略结合起来,形成自适应搜索策略,避免种群早熟和提高收敛速度,然后引入自适应发现概率,提高种群的多样性.SACS算法混合GS算法得到SACS-GS方法,该方法通过引力搜索算法的局部搜索能力来确定自适应布谷鸟算法的全局范围,并找到使卵生长和成熟的最佳解决方案,有效地识别大数据中的错误数据.实验结果表明,SACS-GS方法具有较高的大数据异常检测精度,且精度高于其他现有方法,处理时间低于其他方法.