基于HBase的电力数据压缩存储系统设计与实现

作     者：张家伟 

作者单位：中国科学院大学(中国科学院沈阳计算技术研究所) 

学位级别：硕士

导师姓名：孙大嵬;吴奕

授予年度：2021年

学科分类：0808[工学-电气工程] 080802[工学-电力系统及其自动化] 08[工学] 

主      题：HBase 压缩存储 大数据 电力数据 

摘      要：改革开放以来,我国生产力急速增长,从一个完全封闭的国家,张开了拥抱世界的胸怀。大规模的基础建设导致能源消耗急剧增加,因此,电力行业必然是爆发式发展与进步,由此每天产生数以亿计的数据量。而对如此海量的数据,如不能高效快速的存取,不仅浪费大量存储设备,同时也导致数据查询缓慢,影响电力调度,从而导致电网调度管理低效,不合理等情况。此外,城市用电系统需要根据不同地区、不同时段、不同用途等进行实时的电力调度,这对电力数据的实时性要求非常高。不仅如此,对电力调度数据的准确性也是同样的高要求。这就要求对电力数据的压缩存储不仅要考虑压缩率,还要考虑在节约存储空间的基础上,还有做到无损压缩和快速存取。那么到底如何才能在对电力调度数据进行压缩存储时,能兼顾压缩速度与压缩率呢?针对国家电网某分公司调度全业务数据管理平台的建设这一项目,本文着重研究并解决海量调度数据压缩存储问题,通过对HBase这一非关系型数据库的研究与应用,我们发现可以利用其列存的特性,设计并实现电力调度数据的高效压缩存储,实现高压缩率、快速存取的目标。本文从对数据计算流程的优化、HBase表设计、基于数据分类的压缩算法选取、Hadoop与HBase环境搭建以及电力数据压缩存储实现等几个步骤实现了电力数据的压缩存储系统。本文在对数据进行压缩时,针对不同数据选取了不同的压缩算法,采用的是基于访问频率的冷热数据分类方法,同时采用朴素贝叶斯方法对数据进行压缩算法选取。实验通过采用国家电网某公司2020年历史电力调度数据,共抽取了六组实验数据,分别从压缩前后存储空间、存储速度以及查询性能三个维度进行了测试,最终实现了电力数据压缩存储系统,达到了项目的高效存储目标。