检索结果-南通市图书馆

基于HBase的空间矢量数据存储模型设计与优化

在线全文

学校读者我要写书评

暂无评论

测绘学报 2020年第10期49卷 1365-1373页

作者：谢鹏杨春成熊顺何列松周校东信息工程大学地理空间信息学院河南郑州450052 西安测绘研究所陕西西安710054 地理信息工程国家重点实验室陕西西安710054 中国地质大学(武汉) 湖北武汉430074

数据存储模型是数据库模型的重要组成部分。本文针对目前关系型空间数据库发展过程中遇到的瓶颈问题以及采用HBase管理空间矢量数据存在的问题,在分析关系型空间数据库存储模型的基础上,将关系型数据库存储模式向HBase存储模式转换规则... 详细信息

数据存储模型是数据库模型的重要组成部分。本文针对目前关系型空间数据库发展过程中遇到的瓶颈问题以及采用HBase管理空间矢量数据存在的问题,在分析关系型空间数据库存储模型的基础上,将关系型数据库存储模式向HBase存储模式转换规则应用到空间矢量数据管理领域,提出了空间矢量数据关系存储模式向HBase存储模式转换方法,设计了一种空间矢量数据HBase存储模型。利用HBase的实体嵌套、反范式化、无模式等特性,对模型进行了优化完善。通过试验验证了在没有辅助索引情况下,本文设计的存储模型查询效率优于目前常用的基于HBase的空间矢量数据存储模型。

关键词： HBase 关系型数据库空间矢量数据存储模型反范式化

基于HBase的工业时序大数据分布式存储性能优化策略

在线全文

学校读者我要写书评

暂无评论

计算机应用 2023年第3期43卷 759-766页

作者：杨力陈建廷向阳同济大学电子与信息工程学院上海201804

在自动化的工业场景中,大量工业设备产生的时序性日志数据量呈爆炸式增长,业务场景对时序数据的访问需求进一步提升。虽然目前基于分布式列族的数据库HBase能够存储工业时序大数据,但由于未考虑特定业务场景中数据与访问行为特征的关联... 详细信息

在自动化的工业场景中,大量工业设备产生的时序性日志数据量呈爆炸式增长,业务场景对时序数据的访问需求进一步提升。虽然目前基于分布式列族的数据库HBase能够存储工业时序大数据,但由于未考虑特定业务场景中数据与访问行为特征的关联,现有策略无法较好地满足工业时序数据的特定访问需求。针对上述问题,基于分布式存储系统HBase,利用工业场景中数据与访问行为特征的关联性,提出面向海量工业时序数据的分布式存储性能优化策略。针对工业时序数据特点引发的负载倾斜问题,提出基于冷热数据分区及访问行为分类的负载均衡优化策略。使用逻辑回归模型(LR)对数据进行冷热分类,并将热数据分散存储在不同节点;同时,为进一步降低存储集群中跨节点的通信开销,以提升工业时序数据高维索引的查询效率,提出索引主数据同Region化策略,设计索引RowKey字段及拼接规则,将索引存放到与它对应的主数据相同的Region中。在真实工业时序数据上的实验结果表明,引入优化策略后的数据负载分布倾斜度降低28.5%,查询效率提升27.7%,验证了所提优化策略能够有效地挖掘特定时序数据的访问模式,合理地分配负载,降低数据访问开销,有能力满足对特定时序大数据的访问需求。

关键词：分布式存储时序大数据工业大数据负载均衡 HBase

Fast correlation coefficient estimation algorithm for HBase-based massive time series data

在线全文

学校读者我要写书评

暂无评论

Frontiers of Computer Science 2019年第4期13卷 864-878页

作者： Wen LIU Tuqian ZHANG Yanming SHEN Peng WANG Department of Electrical and Information Engineering Xinjiang Institute of Engineering Urumqi 830091 China School of Computer Science and Technology Dalian University of Technology Dalian 116024 China School of Computer Science Fudan University Shanghai 201203 China

In recent years, the rapid development of Internet of Things and sensor networks makes the time series data experiencing explosive growth. OpenTSDB and other emerging systems begin to use Hadoop, HBase to store massive time series data, and how to use these platforms to query and mine time series data has become a current research hotspor. As a typical time series distance measurement method, correlation coefficient is widely used in various applications. However, it requires a large amount of I/O and network transmission to compute the correlation coefficient of long time sequence on HBase in real time, and therefore cannot be applied to interactive query. To address this problem, in this paper, we present two methods to estimate the correlation coefficients of two sequences on HBase. We first propose a fast estimation algorithm for the upper and lower bounds of correlation coefficient, named as DCE. In order to further reduce the cost of I/O, we extend the DCE algorithm, and propose the ADCE algorithm, which can estimate the correlation coefficient quickly with an iterative manner. Experiments show that the algorithms proposed in this paper can quickly calculate the correlation coefficient of the long time series.

关键词： time series HBase correlation coefficient fast estimation

HiBase:一种基于分层式索引的高效HBase查询技术与系统

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

计算机学报 2016年第1期39卷 140-153页

作者：葛微罗圣美周文辉赵頔唐云周娟曲文武袁春风黄宜华南京大学计算机软件新技术国家重点实验室南京210046 江苏省软件新技术与产业化协同创新中心南京210046 中兴通讯股份有限公司南京210012 清华大学计算机科学与技术系北京100084

大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主... 详细信息

大数据时代,众多应用领域的数据量爆炸式增长,迫切需要研究和寻找有效的大数据存储管理方法,提供实时或准实时的大数据查询分析能力.Hadoop HBase系统为大数据的存储管理提供了一种具有高可扩展性的技术方法和系统平台.然而HBase只有主键索引,不支持非主键索引,这导致HBase的数据查询效率较低,难以满足数据实时或准实时查询需求.为此,在HBase基础上提供面向非主键的快速查询能力,是目前Hadoop环境下急需研究和解决的一个重要问题.该文研究提出了一种基于分层式HBase非主键索引的查询模型和方法,该模型和方法首先建立基于HBase的持久性索引.然后,为了利用内存提升查询性能,该文进一步提出了一种索引热点数据缓存技术和一种高效的热度累积缓存替换策略,以降低对HBase索引表的磁盘访问开销.热度累积缓存替换策略克服了最近最少使用（LRU）算法的局限性,考虑数据访问的累积热度和时间局部特性,从而更准确地捕获数据访问的特征.为了使索引热点数据缓存内存层具有良好的可扩展性,HiBase设计了基于一致性哈希的分布式内存缓存,支持高效的基于非主键的单点查询和范围查询.最终,该文设计实现了完整的分层式索引和查询系统HiBase.在千万至十亿条记录规模数据集上的测试结果表明,HiBase冷查询响应时间比标准HBase快65倍（大结果集）到3000多倍（小结果集）;而引入基于查询热度累积算法的内存索引缓存方法后,热查询性能可在HiBase冷查询基础上再提升5~15倍,使得总体查询性能比标准HBase快300多倍（大结果集）到1.7万倍（小结果集）,比开源的Hindex系统快5~20倍.

关键词： HBase 非主键索引查询处理分层式索引缓存替换策略大数据

基于HBase与静态多级格网索引的地表覆盖数据高效检索方法

在线全文

学校读者我要写书评

暂无评论

浙江大学学报（理学版） 2018年第5期45卷 595-604页

作者：祝琳莹张丰杜震洪刘仁义左玉强浙江省资源与环境信息系统重点实验室浙江杭州310028 浙江大学地理信息科学研究所浙江杭州310027 中国土地勘测规划院北京100035

地表覆盖是地理国情监测的重要对象,为地理国情分析评价模型提供了可靠的数据源.高效的地表覆盖数据检索方法是挖掘地表覆盖数据潜在价值的前提.由于地表覆盖数据体量庞大、更新频繁,要素分布密集且不均匀,传统的空间检索方法出现了扩... 详细信息

地表覆盖是地理国情监测的重要对象,为地理国情分析评价模型提供了可靠的数据源.高效的地表覆盖数据检索方法是挖掘地表覆盖数据潜在价值的前提.由于地表覆盖数据体量庞大、更新频繁,要素分布密集且不均匀,传统的空间检索方法出现了扩展困难、检索能力不足等问题.提出了一种基于HBase与静态多级格网索引的地表覆盖数据空间检索方法,针对地表覆盖数据特征设计了基于HBase的静态多级格网索引,利用MapReduce实现索引并行构建,通过多级过滤的方式,提高了地表覆盖空间范围的查询效率.实验表明,该方法能快速完成大规模、密集分布的地表覆盖数据的空间索引构建,提升空间检索性能,并具有良好的扩展性,可为其他海量空间矢量数据的检索提供借鉴.

关键词：地理国情监测地表覆盖 HBase 多级格网索引范围查询

基于HBase的海洋环境数据可视化系统的设计与实现

在线全文

学校读者我要写书评

暂无评论

基于HBase的海洋环境数据可视化系统的设计与实现

作者：魏忠亮中南大学

学位级别：硕士

随着海洋观测技术的发展和应用,全天时、全海域、全气候的观测方式推动海洋环境数据进入大数据时代,为海洋环境研究提供强有力的数据支持,如何从多源异构、高维度和海量的海洋环境数据中高效挖掘其蕴含的知识信息,是当前海洋环境数据研... 详细信息

随着海洋观测技术的发展和应用,全天时、全海域、全气候的观测方式推动海洋环境数据进入大数据时代,为海洋环境研究提供强有力的数据支持,如何从多源异构、高维度和海量的海洋环境数据中高效挖掘其蕴含的知识信息,是当前海洋环境数据研究的重点。本文针对海洋环境数据在应用过程中存在的存储和可视化问题,提出了一种适用于大数据分布式存储计算框架与Web软件平台可视化技术相融合的系统设计方案,通过HBase和Spark技术对Net CDF格式的海洋环境数据进行存储、组织和处理,基于Cesium和Geoserver服务构建数据可视化平台对数据进行可视化展示与应用,并整合相关研究开发了海洋环境数据可视化系统,实现海洋环境数据的快速存储和高效应用,为海洋环境开发、研究和探索提供服务支持。论文主要进行了以下工作和得到如下结论:1)设计了基于HBase的海洋环境数据存储方案。针对数据特点和应用需求设计海洋环境数据的存储优化方案,包括基于Geo Hash的空间索引构建、设计构建HBase表结构和HBase负载均衡策略,以提高HBase的存储效率和访问速度。并针对海洋环境数据导入数据库过程中存在的效率问题,设计了一种基于Spark和Bulk Load的并行入库算法,从而提高数据入库速度。2)评估了适合海洋环境各要素的空间插值方法。针对不同空间插值方法对海洋环境要素的适用性问题,选定实验区中多个海洋环境要素数据,通过交叉验证留一法评估多个空间插值方法的有效性和可靠性。其实验结果可以作为海洋环境数据空间插值方法的选用依据,为数据可视化提供数据处理基础。3)设计了基于Geoserver的海洋环境数据可视化方案。通过散点图、柱状图和文字注释展示一维标量场数据;通过颜色映射法和等值线法展示二维标量场数据;通过点图标法展示二维矢量场数据,并针对点图标法的图标覆盖问题,提出了一种改进的多层级局部空间自相关矢量场稀疏化方法。并针对数据图层手动发布的效率问题,研究了一种基于Geoserver的海洋环境数据图层自动发布和自动切片的方法。4)开发了基于HBase的海洋环境数据可视化系统。结合上述的基于HBase的数据存储方案和基于Geoserver的数据可视化方案,经过技术整合和编程开发,实现了一个海洋环境数据可视化系统。

关键词：海洋环境数据 HBase 空间插值 Geoserver 数据可视化

基于HBase的HLS-Ⅱ数据存档与检索系统开发

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

核技术 2020年第7期43卷 29-33页

作者：辛尚聪孙晓康李川宣科刘功发中国科学技术大学国家同步辐射实验室合肥230029

HLS-Ⅱ(Hefei Light Source-Ⅱ)是以真空紫外和软X射线为主的专用同步辐射光源,其历史数据的检索速度对于性能分析和故障诊断至关重要,因此设计并开发了基于HBase的数据存档与检索系统(HBase-base Data Archiving and Retrieving System... 详细信息

HLS-Ⅱ(Hefei Light Source-Ⅱ)是以真空紫外和软X射线为主的专用同步辐射光源,其历史数据的检索速度对于性能分析和故障诊断至关重要,因此设计并开发了基于HBase的数据存档与检索系统(HBase-base Data Archiving and Retrieving System,HDARS),以提高历史数据的检索速度。HDARS中设计了一个数据抽取算法在存档过程中以不同的时间粒度抽取原始数据中的特征数据。原始数据和特征数据分别存入到HBase的原始数据表和冗余数据表中,当查询长期的历史数据时,HDARS将根据查询数据的时间范围来计算合适的时间粒度,并从冗余数据表中检索、返回具有此粒度的特征数据。该系统自投入运行以来,性能稳定,可以在1 s内响应任意时间范围的查询请求,完全满足了用户对HLS-Ⅱ历史数据查询需求。这种设计以较小的冗余存储空间为代价,完全解决了长期历史数据检索速度慢的问题。

关键词： HLS-Ⅱ 数据存档数据检索 HBase 数据抽取算法冗余存储

基于协处理器的HBase内存索引机制的研究

在线全文

学校读者我要写书评

暂无评论

计算机工程与应用 2020年第1期56卷 98-105页

作者：朱松杰娄渊胜叶枫李凌陈勇河海大学计算机与信息学院南京211100 南京龙渊微电子科技有限公司博后工作站南京211106

为了实现对海量数据的高效存储和查询,众多NoSQL数据库被开发出来,HBase是其中之一。但原生的HBase数据库在进行数据查询时只支持主键索引,对非主键数据只能通过全表扫描的方式进行查询,极大降低了HBase的多条件查询速度。为此,提出了... 详细信息

为了实现对海量数据的高效存储和查询,众多NoSQL数据库被开发出来,HBase是其中之一。但原生的HBase数据库在进行数据查询时只支持主键索引,对非主键数据只能通过全表扫描的方式进行查询,极大降低了HBase的多条件查询速度。为此,提出了基于协处理器的HBase内存索引构建方案,通过协处理器实现对二级索引的快速构建并可根据HBase表的变化自动更新索引。同时,将建立的索引进行持久化操作,在使用时通过内存计算,极大地提高了索引数据检索速度,保证了索引的可用性和容错性。实验结果表明,该方案相比原生数据库的条件检索速度有了极大提升,相比于基于Solr和HiBase的二级索引方案检索速度也有所提升。

关键词： HBase 内存索引 HT树持久化

在线全文

学校读者我要写书评

暂无评论

基于HBase的轨迹大数据管理研究

基于HBase的轨迹大数据管理研究

作者：王浩成武汉大学

学位级别：硕士

随着移动互联网与定位技术高速发展,带有位置感知功能的移动设备愈加普及,如今人们已能广泛地获取各类移动对象的轨迹数据,并形成轨迹大数据。为充分挖掘轨迹大数据的价值,首先应有效地管理轨迹大数据。近年来已有一些基于Hadoop、HBase... 详细信息

随着移动互联网与定位技术高速发展,带有位置感知功能的移动设备愈加普及,如今人们已能广泛地获取各类移动对象的轨迹数据,并形成轨迹大数据。为充分挖掘轨迹大数据的价值,首先应有效地管理轨迹大数据。近年来已有一些基于Hadoop、HBase、Spark等大数据框架的轨迹大数据管理研究,但其中较多研究将轨迹按点或段存储,不能有效支持面向完整轨迹的分析。同时,多数研究对轨迹时间属性的处理过于简单,导致其在查询中难以通过时间约束快速过滤无效记录。此外,现有研究仅考虑了交叠型或包含型范围查询,不能高效满足复杂轨迹查询的多样化需求。针对以上问题,本文首先研究了轨迹时空属性的降维编码及其时空过滤能力,接着基于HBase索引机制,设计了XZST、IDXZT索引以支持多种轨迹查询,最后结合HBase特性,构建了轨迹大数据管理原型系统。主要工作内容如下:(1)设计并实现了轨迹时空属性的降维编码及其时空过滤策略。本文以XZ、XZT空间填充曲线分别对轨迹空间序列、时间范围作降维编码,使高维对象能唯一地映射至实数域,同时保留其在高维空间中的邻近关系。之后结合两类编码的特点,提出了基于编码的空间、时间维度交叠型、包含型范围过滤策略。(2)设计了轨迹XZST、IDXZT索引,并实现多类轨迹查询功能。本文以轨迹整体为单位管理轨迹数据,并结合HBase的行键索引机制与轨迹查询特点,将轨迹时空编码与相关属性信息按一定顺序拼接,形成XZST索引与IDXZT索引。之后设计了可独立配置时空约束类型的时空范围查询与移动对象查询。最后基于时空范围查询设计了KNN查询。(3)设计并实现了基于HBase的轨迹大数据管理原型系统。数据存储层负责数据存储与导入,编码索引层负责轨迹编码与索引,查询处理层包含了多类查询功能,并基于HBase协处理器实现服务端过滤与辅助索引查询。基于真实数据集的实验结果表明:本文的编码过滤策略与服务端过滤均可提升轨迹查询的效率,辅助索引仅需少量额外索引空间,即可避免全表扫描,丰富了轨迹数据的索引查询策略。

关键词：轨迹大数据 HBase 轨迹索引轨迹查询