基于Spark框架的电力大数据清洗模型
A data cleaning model for electric power big data based on Spark framework作者机构：国网内蒙古东部电力有限公司信息通信分公司呼和浩特010020 兰州大学数学与统计学院兰州730000
出 版 物：《电测与仪表》 (Electrical Measurement & Instrumentation)
年 卷 期：2017年第54卷第14期
页 面：33-38页
学科分类：080802[工学-电力系统及其自动化] 0808[工学-电气工程] 08[工学]
主 题：电力大数据 数据清洗 异常识别 异常修正 Spark框架
摘 要：针对电力大数据清洗过程中的提取统一异常检测模式困难、异常数据修正连续性及准确性低下等问题,提出了一种基于Spark框架的电力大数据清洗模型。首先基于改进CURE聚类算法获取正常簇;其次,实现了正常簇的边界样本获取方法,并设计了基于边界样本的异常识别算法;最后通过指数加权移动平均数实现了异常数据修正。通过对某风电场风力发电监测数据进行了数据清洗实验分析,验证了清洗模型的高效性、准确性。
维普期刊数据库
同方期刊数据库