基于改进决策树的电力混合大数据实时采集方法
Real time power hybrid big data acquisition method based on improved decision tree作者机构:南方电网数字电网研究院有限公司广州510000
出 版 物:《自动化与仪器仪表》 (Automation & Instrumentation)
年 卷 期:2023年第6期
页 面:93-96页
学科分类:08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术(可授工学、理学学位)]
主 题:改进决策树 电力 混合数据 实时采集 冗余数据 自适应
摘 要:在电力混合大数据采集过程中,由于数据处理模式的影响,导致数据采集的量化误差较高。因此,提出基于改进决策树的电力混合大数据实时采集方法。利用智能映射技术,构建统一的混合数据采集模型。通过Sqoop脚本、Kafka,以及ftp三种方法的有机结合,完成电力采集混合数据实时交换。针对多级电力冗余数据,基于改进决策树算法,建立符合采集需求的数据处理模式。依托于采集的电力数据值设计自适应采集策略,实现电力混合大数据实时采集。实验结果表明:基于改进决策树算法的数据采集方法,对比两种方法,将量化误差降低了16%与22%,有效提升了数据采集质量。