检索结果-南通市图书馆

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

hbase数据库监控系统的设计与实现

HBase数据库监控系统的设计与实现

作者：郭丽斯北京邮电大学

学位级别：硕士

随着大数据时代的到来,数据量的快速增长和数据的多样化都给数据存储带来了新的挑战。分布式数据库hbase由于其高性能和高可靠性成为海量数据时代存储数据的重要工具,而hbase数据库的正常运行则是保证数据存储安全性的重要保障,设计一... 详细信息

随着大数据时代的到来,数据量的快速增长和数据的多样化都给数据存储带来了新的挑战。分布式数据库hbase由于其高性能和高可靠性成为海量数据时代存储数据的重要工具,而hbase数据库的正常运行则是保证数据存储安全性的重要保障,设计一个合理的hbase数据库监控系统,具有重要的现实意义。基本的性能监控能够使管理人员清晰地观察整个集群各个节点的运行情况、运行趋势和性能瓶颈;而异常告警能够及时提醒管理人员解决问题,最大程度地减小损失,为数据库的合理使用提供参考。本文针对中国移动设计院实际生产项目对hbase数据库监控的需求,提出了一套包含性能监控、异常告警功能模块的解决方案,设计了灵活可扩展的监控代理采集hbase数据库性能信息、服务器硬件信息和网络连通性信息,采用SSM架构设计监控服务器完成数据存储、异常告警、统计分析等功能,设计了灵活的数据库表存储数据以及简洁明了的监控显示层展现数据库集群最新运行情况和历史数据,并根据实际运行过程中出现的问题提出了减少SQL查询、日志优化、保留近期历史数据的优化方案。另外,在系统运行的基础上,进行了基于决策树的监控系统故障预警研究,提出了基于决策树的故障预警方案,并提出了改进的决策树算法。实际运行情况表明,该监控系统能够有效监控hbase数据库的状态,灵活扩展监控指标,及时发出异常告警,提高了运维人员的工作效率,保障了项目的顺利运行。另外,基于决策树的故障预警比人工设定的告警条件效果更好,而改进的决策树也能进一步提高决策的精度。

关键词：数据库监控 hbase数据库决策树故障预警

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于hbase数据库的数据分布式存储方法

兰州工业学院学报 2022年第5期29卷 46-50页

作者：曹丽蓉兰州工商学院信息工程学院甘肃兰州730000

针对互联网数据种类繁杂、数量过多且占用内存较大等问题,提出基于hbase数据库的数据分布式存储方法。鉴于hbase稀疏行/列矩阵存储的特点,从逻辑模型和物理模型两方面展开分析;利用OGC简单要素模型建立空间数据模型,将几何对象转换为字... 详细信息

针对互联网数据种类繁杂、数量过多且占用内存较大等问题,提出基于hbase数据库的数据分布式存储方法。鉴于hbase稀疏行/列矩阵存储的特点,从逻辑模型和物理模型两方面展开分析;利用OGC简单要素模型建立空间数据模型,将几何对象转换为字节对象,提高用户读写效率;利用网格空间索引作为索引机制,通过分析每个网格的索引ID值得到属性信息和拓扑关系,便于用户查询;数据存储模型由网格金字塔模型完成构建,根据数据的多尺度层级结构特征,划分为不同的层级,每个层级都有其各自的数据图层表结构和字典表结构,用户可快速找到所需的数据。结果表明:所提方法可生成合适的节点数量,取得理想的读写效率和存储效率。

关键词： hbase数据库数据分布式存储空间数据模型网格金字塔模型图层表结构

基于hbase数据库的高校人事管理系统模型设计

在线全文

学校读者我要写书评

暂无评论

信息记录材料 2023年第6期24卷 163-165页

作者：梁胜钱春阳王宏合肥职业技术学院安徽合肥230051

本文针对高校人事管理系统在互联网时代的新需求,设计了一种基于hbase数据库的系统模型。首先介绍了hbase数据库基础知识和数据库设计原则,然后分析了当前高校人事管理系统的需求和功能,并基于hbase数据库进行了系统设计和实现。在系统... 详细信息

本文针对高校人事管理系统在互联网时代的新需求,设计了一种基于hbase数据库的系统模型。首先介绍了hbase数据库基础知识和数据库设计原则,然后分析了当前高校人事管理系统的需求和功能,并基于hbase数据库进行了系统设计和实现。在系统实现与测试中,采用设计模型进行系统部署与配置、完成了性能测试和安全性测试。结果表明,该系统具有较高的性能和安全性。本文旨在为高校人事管理系统的设计和开发提供一种基于hbase数据库的新思路,同时也为hbase数据库在实际应用中的推广和普及提供一定的参考和借鉴。

关键词： hbase数据库人事管理系统模型设计设计原则

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于hbase的分布式空间数据库技术

吉林大学学报（理学版） 2016年第6期54卷 1355-1360页

作者：吴琰唐小明中国林业科学研究院资源信息研究所北京100091

针对在大型地理信息系统(GIS)中,需要对海量矢量数据和栅格数据进行存储并对高并发的用户查询请求提供高效响应,传统的设计方案难以满足需求的问题,提出一种使用基于内存存储的分布式数据库hbase存储空间数据,并设计基于GeoHash的分布... 详细信息

针对在大型地理信息系统(GIS)中,需要对海量矢量数据和栅格数据进行存储并对高并发的用户查询请求提供高效响应,传统的设计方案难以满足需求的问题,提出一种使用基于内存存储的分布式数据库hbase存储空间数据,并设计基于GeoHash的分布式空间索引,实现了矢量空间数据与栅格空间数据的分布式存储与快速查询.实验表明,该方法提升了海量空间数据的查询速度.

关键词：分布式空间数据库海量数据 Hadoop分布式文件系统 hbase数据库

基于Hadoop平台的灾害大数据处理及可视化

在线全文

学校读者我要写书评

暂无评论

电脑与电信 2024年第4期 80-84页

作者：汤笛吴长梦涛张欣悦尹茂鹏张子涵陈新房防灾科技学院河北廊坊065201

随着监测技术的进步,地震数据量不断增加,增长速度日渐加快。数据处理过程中原始数据可能存在缺失、异常值和格式问题,需要进行细致处理。hbase是一个适合存储和处理大规模数据的分布式数据库,通过使用MapReduce的Bulk-Load方法,可以更... 详细信息

随着监测技术的进步,地震数据量不断增加,增长速度日渐加快。数据处理过程中原始数据可能存在缺失、异常值和格式问题,需要进行细致处理。hbase是一个适合存储和处理大规模数据的分布式数据库,通过使用MapReduce的Bulk-Load方法,可以更高效地将海量数据导入到hbase中。这样结合Hadoop平台分布式的优势,可以提高运算分析的速度,便于对数据进行研究。通过可视化展示,可以更好地利用数据进行研究分析,为灾害应对提供有力支持。

关键词：灾害大数据处理 Hadoop平台 hbase数据库可视化

面向非关系型数据库的时空数据信息量平衡索引方法

在线全文

学校读者我要写书评

暂无评论

测绘科学 2022年第4期47卷 160-168页

作者：李龙海谢鹏何列松吴昊天付少锋西安电子科技大学计算机科学与技术学院西安710071 西安测绘研究所西安710054

针对利用hbase等非关系型数据库存储倾斜分布的时空数据时查询效率明显下降的问题,该文提出了一种面向非关系型数据库的基于非均匀网格编码的时空数据索引方法。首先,按标准STCode编码方法将整个时空区域递归划分为均匀三维网格;然后,... 详细信息

针对利用hbase等非关系型数据库存储倾斜分布的时空数据时查询效率明显下降的问题,该文提出了一种面向非关系型数据库的基于非均匀网格编码的时空数据索引方法。首先,按标准STCode编码方法将整个时空区域递归划分为均匀三维网格;然后,根据每个标准网格的数据密度,将该网格与其相邻网格或者进行合并,或者拆分成更小的网格,这样就生成了非均匀网格,每个非均匀网格被赋予一个信息量平衡时空编码(IBSTCode),并建立STCode与IBSTCode之间的映射表;最后,IBSTCode作为前缀被嵌入到时空数据记录的主键索引中。实验结果表明,当利用hbase存储非均匀分布的时空点状数据时,该文提出的信息量平衡索引方法可以显著提高查询效率。

关键词： hbase数据库时空数据数据库索引时空编码

基于NoSQL的机载LiDAR海量点云数据分布式存储

在线全文

学校读者我要写书评

暂无评论

测绘科学技术学报 2018年第5期35卷 472-476页

作者：宇超群邓勇王天鹏信息工程大学河南郑州450001

机载LiDAR点云数据是遥感大数据的重要组成部分,其海量化的趋势日益显著。本文设计并实现了基于NoSQL的海量机载LiDAR点云分布式存储模型,解决了海量机载LiDAR点云数据的高效存储问题。通过建立基于虚拟格网与线性八叉树的海量机载LiDA... 详细信息

机载LiDAR点云数据是遥感大数据的重要组成部分,其海量化的趋势日益显著。本文设计并实现了基于NoSQL的海量机载LiDAR点云分布式存储模型,解决了海量机载LiDAR点云数据的高效存储问题。通过建立基于虚拟格网与线性八叉树的海量机载LiDAR点云数据组织结构,设计了基于虚拟格网号与Morton码的海量机载LiDAR点云数据标识唯一编码;提出了基于hbase的海量机载LiDAR点云数据存储策略,实现了键值和表结构的优化设计;最终实现了海量机载LiDAR点云数据的高效存储和快速查询。

关键词：激光雷达点云数据 NoSQL数据库 hbase数据库高效存储

在线全文

学校读者我要写书评

暂无评论

基于hbase的矢量数据云存储策略研究

测绘科学技术学报 2016年第5期33卷 524-528页

作者：祝若鑫郭建忠薛帅范建永陈科信息工程大学河南郑州450001

大数据时代,矢量数据量急剧增长,迫切需要寻找有效的矢量大数据存储方法。提出了一种基于hbase的矢量数据云存储策略。首先应用四叉树剖分方法构建多级格网索引并基于Hilbert填充曲线对矢量数据进行聚类划分;其次结合多级格网编码和Hilb... 详细信息

大数据时代,矢量数据量急剧增长,迫切需要寻找有效的矢量大数据存储方法。提出了一种基于hbase的矢量数据云存储策略。首先应用四叉树剖分方法构建多级格网索引并基于Hilbert填充曲线对矢量数据进行聚类划分;其次结合多级格网编码和Hilbert排列码设计矢量要素唯一标识并以此作为矢量要素在hbase数据库的行键;再次对矢量数据的存储规则进行了具体设计;最后通过两个对比实验对矢量要素唯一标识聚类效果及矢量数据查询效率进行了验证,实验结果证明了该方法的可行性与有效性。

关键词： hbase数据库云存储矢量数据 Hilbert填充曲线行键

基于协处理器的hbase区域级第二索引研究与实现

在线全文

学校读者我要写书评

暂无评论

计算机应用 2014年第A1期34卷 181-185页

作者：丁飞陈长松张涛杨涛张岩峰公安部第三研究所网络安全研发中心上海200031

针对hbase全表扫描查询效率问题,对hbase第二索引功能进行研究,实现一种基于hbase协处理器的服务端区域级第二索引扩展功能。通过将索引维护与查询放到服务端完成,极大地减少了网络通信开销。索引文件使用HFile格式组织。利用HFile成熟... 详细信息

针对hbase全表扫描查询效率问题,对hbase第二索引功能进行研究,实现一种基于hbase协处理器的服务端区域级第二索引扩展功能。通过将索引维护与查询放到服务端完成,极大地减少了网络通信开销。索引文件使用HFile格式组织。利用HFile成熟的编程接口以及高效的读写性能,使得索引维护变得简单易行,也保证了索引读写的效率,提供了高效的查询性能。实践表明,该索引扩展机制能有效地满足集群应用中对大数据集的第二索引查询功能需求。

关键词： hbase数据库区域级第二索引协处理器 HFile格式