基于倒排索引的铁路供电海量数据集群监控快速查询机制研究

作     者：范明明 

作者单位：华东交通大学 

学位级别：硕士

导师姓名：屈志坚

授予年度：2019年

学科分类：08[工学] 0823[工学-交通运输工程] 082301[工学-道路与铁道工程] 

主      题：铁路供电调度监测 海量数据 快速查询 HBase集群数据库 倒排索引 热点缓存 

摘      要：随着我国高速铁路网规模越来越大,铁路供电系统的智能化程度不断提高,四电设备的综合调度监控系统已逐步应用于高速客运专线供电系统所有重要高、低压回路,供电调度监测系统测控终端数量大大增加。并且高速动车组运行速度和开行频率都远高于普通列车,铁路供电系统运行参数变化频繁,供电调度监测系统测控终端的采样频率也随之提升,使铁路供电综合调度监测系统采集数据信息呈指数级增加。浙赣铁路10kV电力调度监控系统仅2个月获取监测数据量即达300G以上,按此计算,1年监测数据量为1.8T,以服役期15年算,总存储量可达27T。传统的数据处理技术主要通过关系型数据库进行存储管理,存在容量受限且扩展性差的问题,面对千万级以上的海量监测数据查询响应慢易造成调度界面卡屏,影响调度信息的实时处理,严重时甚至可能导致重要报警信息的延迟甚至遗漏,对列车安全产生威胁。因此,迫切需要研究铁路供电调度监测的高效查询响应技术,提出新的海量监测数据的快速处理方法。本文针对铁路供电调度监测系统的快速查询响应问题,搭建铁路供电调度监测分布式集群数据库。该分布式集群数据库基于HBase数据库,面对海量监测数据,拥有远超于传统关系型数据库的存储能力和可扩展性。考虑HBase数据库按非主行键查询的效率低下,无法满足铁路供电调度监测系统按站所和设备编号等非主行键关键词进行监测数据查询的工程应用需求,设计一种基于铁路供电监测数据倒排索引的二级索引架构,改变数据存取结构,生成监测数据的倒排索引,利用非主行键定位,完成非主行键数据的二级索引。通过算例测试验证该方法满足在铁路供电调度监测系统中对数据进行快速检索的工程应用需求。将热点缓存技术融入铁路供电调度监测分布式集群数据库,进一步提高查询效率。并对热点缓存技术进行改进,在倒排索引热度缓存的缓存更新替换环节中设计访问顺序编码,对倒排索引缓存数据的访问热度进行管理排序,避免对缓存系统属性时间戳进行操作,提高热点缓存方法的多线程读写性能。通过算例测试,验证了改进的热点缓存替换方法可以进一步提高铁路供电调度监测系统的查询效率。