基于HBase的轨迹大数据管理研究

作     者：王浩成 

作者单位：武汉大学 

学位级别：硕士

导师姓名：向隆刚

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

主      题：轨迹大数据 HBase 轨迹索引 轨迹查询 

摘      要：随着移动互联网与定位技术高速发展,带有位置感知功能的移动设备愈加普及,如今人们已能广泛地获取各类移动对象的轨迹数据,并形成轨迹大数据。为充分挖掘轨迹大数据的价值,首先应有效地管理轨迹大数据。近年来已有一些基于Hadoop、HBase、Spark等大数据框架的轨迹大数据管理研究,但其中较多研究将轨迹按点或段存储,不能有效支持面向完整轨迹的分析。同时,多数研究对轨迹时间属性的处理过于简单,导致其在查询中难以通过时间约束快速过滤无效记录。此外,现有研究仅考虑了交叠型或包含型范围查询,不能高效满足复杂轨迹查询的多样化需求。针对以上问题,本文首先研究了轨迹时空属性的降维编码及其时空过滤能力,接着基于HBase索引机制,设计了XZST、IDXZT索引以支持多种轨迹查询,最后结合HBase特性,构建了轨迹大数据管理原型系统。主要工作内容如下:(1)设计并实现了轨迹时空属性的降维编码及其时空过滤策略。本文以XZ、XZT空间填充曲线分别对轨迹空间序列、时间范围作降维编码,使高维对象能唯一地映射至实数域,同时保留其在高维空间中的邻近关系。之后结合两类编码的特点,提出了基于编码的空间、时间维度交叠型、包含型范围过滤策略。(2)设计了轨迹XZST、IDXZT索引,并实现多类轨迹查询功能。本文以轨迹整体为单位管理轨迹数据,并结合HBase的行键索引机制与轨迹查询特点,将轨迹时空编码与相关属性信息按一定顺序拼接,形成XZST索引与IDXZT索引。之后设计了可独立配置时空约束类型的时空范围查询与移动对象查询。最后基于时空范围查询设计了KNN查询。(3)设计并实现了基于HBase的轨迹大数据管理原型系统。数据存储层负责数据存储与导入,编码索引层负责轨迹编码与索引,查询处理层包含了多类查询功能,并基于HBase协处理器实现服务端过滤与辅助索引查询。基于真实数据集的实验结果表明:本文的编码过滤策略与服务端过滤均可提升轨迹查询的效率,辅助索引仅需少量额外索引空间,即可避免全表扫描,丰富了轨迹数据的索引查询策略。