电力调控大数据存储技术研究

作     者：蔡永涛 

作者单位：华北电力大学(北京) 

学位级别：硕士

导师姓名：吴润泽;赵兵

授予年度：2016年

学科分类：080802[工学-电力系统及其自动化] 0808[工学-电气工程] 08[工学] 

主      题：电力调度 大数据 存储 索引 

摘      要：电力调度和控制,是电网的核心功能,是电力从生产到消费的核心环节。电网在长期的运营过程中积累了海量的采集数据、电网属性数据、天气数据等调控大数据,随着电网规模的增长、智能电网的发展、新能源的接入以及新型用电业务的产生,调控数据增长更加迅猛。管理和利用好海量电力调控大数据对于电力调度控制、设备检修、负荷预测等业务的开展具有重要意义,同时也能促进电力行业节能减排,提高能源的利用效率,而数据存储是数据管理和利用的基础和前提。本文在深入分析电力调控大数据组成的基础上,进一步分析了电力调控大数据的特点和存储需求。针对传统关系数据库存储调控历史数据存在的固有缺陷,提出了基于Hive和Hbase技术多层次存储架构,该方案采用基于HDFS的Hive数据仓库存储结构化调控历史数据,采用Hbase存储非结构调控数据,进而分析了该方案的理论可行性和实际应用场景,并搭建仿真环境对提出的存储方案进行性能测试,测试结果验证了理论分析。针对海量调控数据查询速度低下的问题,本文在研究了传统数据库索引索引方法的基础上,提出了一种基于双层索引模型的新型索引方法,该方法在对局部数据建立索引的基础上,对局部数据实际存储范围建立全局索引,有效提高了数据查询、插入等操作的时间性能,从理论和实验两个方面对比验证了提出的索引方法的优越性。