检索结果-南通市图书馆

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

hbase数据库监控系统的设计与实现

HBase数据库监控系统的设计与实现

作者：郭丽斯北京邮电大学

学位级别：硕士

随着大数据时代的到来,数据量的快速增长和数据的多样化都给数据存储带来了新的挑战。分布式数据库hbase由于其高性能和高可靠性成为海量数据时代存储数据的重要工具,而hbase数据库的正常运行则是保证数据存储安全性的重要保障,设计一... 详细信息

随着大数据时代的到来,数据量的快速增长和数据的多样化都给数据存储带来了新的挑战。分布式数据库hbase由于其高性能和高可靠性成为海量数据时代存储数据的重要工具,而hbase数据库的正常运行则是保证数据存储安全性的重要保障,设计一个合理的hbase数据库监控系统,具有重要的现实意义。基本的性能监控能够使管理人员清晰地观察整个集群各个节点的运行情况、运行趋势和性能瓶颈;而异常告警能够及时提醒管理人员解决问题,最大程度地减小损失,为数据库的合理使用提供参考。本文针对中国移动设计院实际生产项目对hbase数据库监控的需求,提出了一套包含性能监控、异常告警功能模块的解决方案,设计了灵活可扩展的监控代理采集hbase数据库性能信息、服务器硬件信息和网络连通性信息,采用SSM架构设计监控服务器完成数据存储、异常告警、统计分析等功能,设计了灵活的数据库表存储数据以及简洁明了的监控显示层展现数据库集群最新运行情况和历史数据,并根据实际运行过程中出现的问题提出了减少SQL查询、日志优化、保留近期历史数据的优化方案。另外,在系统运行的基础上,进行了基于决策树的监控系统故障预警研究,提出了基于决策树的故障预警方案,并提出了改进的决策树算法。实际运行情况表明,该监控系统能够有效监控hbase数据库的状态,灵活扩展监控指标,及时发出异常告警,提高了运维人员的工作效率,保障了项目的顺利运行。另外,基于决策树的故障预警比人工设定的告警条件效果更好,而改进的决策树也能进一步提高决策的精度。

关键词：数据库监控 hbase数据库决策树故障预警

基于hbase数据库的高校人事管理系统模型设计

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

信息记录材料 2023年第6期24卷 163-165页

作者：梁胜钱春阳王宏合肥职业技术学院安徽合肥230051

本文针对高校人事管理系统在互联网时代的新需求,设计了一种基于hbase数据库的系统模型。首先介绍了hbase数据库基础知识和数据库设计原则,然后分析了当前高校人事管理系统的需求和功能,并基于hbase数据库进行了系统设计和实现。在系统... 详细信息

本文针对高校人事管理系统在互联网时代的新需求,设计了一种基于hbase数据库的系统模型。首先介绍了hbase数据库基础知识和数据库设计原则,然后分析了当前高校人事管理系统的需求和功能,并基于hbase数据库进行了系统设计和实现。在系统实现与测试中,采用设计模型进行系统部署与配置、完成了性能测试和安全性测试。结果表明,该系统具有较高的性能和安全性。本文旨在为高校人事管理系统的设计和开发提供一种基于hbase数据库的新思路,同时也为hbase数据库在实际应用中的推广和普及提供一定的参考和借鉴。

关键词： hbase数据库人事管理系统模型设计设计原则

在线全文

学校读者我要写书评

暂无评论

基于hbase数据库的数据分布式存储方法

兰州工业学院学报 2022年第5期29卷 46-50页

作者：曹丽蓉兰州工商学院信息工程学院甘肃兰州730000

针对互联网数据种类繁杂、数量过多且占用内存较大等问题,提出基于hbase数据库的数据分布式存储方法。鉴于hbase稀疏行/列矩阵存储的特点,从逻辑模型和物理模型两方面展开分析;利用OGC简单要素模型建立空间数据模型,将几何对象转换为字... 详细信息

针对互联网数据种类繁杂、数量过多且占用内存较大等问题,提出基于hbase数据库的数据分布式存储方法。鉴于hbase稀疏行/列矩阵存储的特点,从逻辑模型和物理模型两方面展开分析;利用OGC简单要素模型建立空间数据模型,将几何对象转换为字节对象,提高用户读写效率;利用网格空间索引作为索引机制,通过分析每个网格的索引ID值得到属性信息和拓扑关系,便于用户查询;数据存储模型由网格金字塔模型完成构建,根据数据的多尺度层级结构特征,划分为不同的层级,每个层级都有其各自的数据图层表结构和字典表结构,用户可快速找到所需的数据。结果表明:所提方法可生成合适的节点数量,取得理想的读写效率和存储效率。

关键词： hbase数据库数据分布式存储空间数据模型网格金字塔模型图层表结构

在线全文

学校读者我要写书评

暂无评论

基于hbase的分布式空间数据库技术

吉林大学学报（理学版） 2016年第6期54卷 1355-1360页

作者：吴琰唐小明中国林业科学研究院资源信息研究所北京100091

针对在大型地理信息系统(GIS)中,需要对海量矢量数据和栅格数据进行存储并对高并发的用户查询请求提供高效响应,传统的设计方案难以满足需求的问题,提出一种使用基于内存存储的分布式数据库hbase存储空间数据,并设计基于GeoHash的分布... 详细信息

针对在大型地理信息系统(GIS)中,需要对海量矢量数据和栅格数据进行存储并对高并发的用户查询请求提供高效响应,传统的设计方案难以满足需求的问题,提出一种使用基于内存存储的分布式数据库hbase存储空间数据,并设计基于GeoHash的分布式空间索引,实现了矢量空间数据与栅格空间数据的分布式存储与快速查询.实验表明,该方法提升了海量空间数据的查询速度.

关键词：分布式空间数据库海量数据 Hadoop分布式文件系统 hbase数据库

基于Hadoop平台的灾害大数据处理及可视化

在线全文

学校读者我要写书评

暂无评论

电脑与电信 2024年第4期 80-84页

作者：汤笛吴长梦涛张欣悦尹茂鹏张子涵陈新房防灾科技学院河北廊坊065201

随着监测技术的进步,地震数据量不断增加,增长速度日渐加快。数据处理过程中原始数据可能存在缺失、异常值和格式问题,需要进行细致处理。hbase是一个适合存储和处理大规模数据的分布式数据库,通过使用MapReduce的Bulk-Load方法,可以更... 详细信息

随着监测技术的进步,地震数据量不断增加,增长速度日渐加快。数据处理过程中原始数据可能存在缺失、异常值和格式问题,需要进行细致处理。hbase是一个适合存储和处理大规模数据的分布式数据库,通过使用MapReduce的Bulk-Load方法,可以更高效地将海量数据导入到hbase中。这样结合Hadoop平台分布式的优势,可以提高运算分析的速度,便于对数据进行研究。通过可视化展示,可以更好地利用数据进行研究分析,为灾害应对提供有力支持。

关键词：灾害大数据处理 Hadoop平台 hbase数据库可视化

面向非关系型数据库的时空数据信息量平衡索引方法

在线全文

学校读者我要写书评

暂无评论

测绘科学 2022年第4期47卷 160-168页

作者：李龙海谢鹏何列松吴昊天付少锋西安电子科技大学计算机科学与技术学院西安710071 西安测绘研究所西安710054

针对利用hbase等非关系型数据库存储倾斜分布的时空数据时查询效率明显下降的问题,该文提出了一种面向非关系型数据库的基于非均匀网格编码的时空数据索引方法。首先,按标准STCode编码方法将整个时空区域递归划分为均匀三维网格;然后,... 详细信息

针对利用hbase等非关系型数据库存储倾斜分布的时空数据时查询效率明显下降的问题,该文提出了一种面向非关系型数据库的基于非均匀网格编码的时空数据索引方法。首先,按标准STCode编码方法将整个时空区域递归划分为均匀三维网格;然后,根据每个标准网格的数据密度,将该网格与其相邻网格或者进行合并,或者拆分成更小的网格,这样就生成了非均匀网格,每个非均匀网格被赋予一个信息量平衡时空编码(IBSTCode),并建立STCode与IBSTCode之间的映射表;最后,IBSTCode作为前缀被嵌入到时空数据记录的主键索引中。实验结果表明,当利用hbase存储非均匀分布的时空点状数据时,该文提出的信息量平衡索引方法可以显著提高查询效率。

关键词： hbase数据库时空数据数据库索引时空编码

基于hbase的多模态医疗大数据存储模型及其检索优化

在线全文

学校读者我要写书评

暂无评论

基于HBase的多模态医疗大数据存储模型及其检索优化

作者：刘梓汐中南大学

学位级别：硕士

随着大数据时代的到来,医疗数据量急剧增长。建立医疗大数据统一存储与管理模型,实现不同医疗机构间的信息共享,对于促进智慧医疗、推进诊疗和疾病预测技术的发展具有重要意义。然而,传统关系型数据库无法适应大数据时代的数据规模,而HB... 详细信息

随着大数据时代的到来,医疗数据量急剧增长。建立医疗大数据统一存储与管理模型,实现不同医疗机构间的信息共享,对于促进智慧医疗、推进诊疗和疾病预测技术的发展具有重要意义。然而,传统关系型数据库无法适应大数据时代的数据规模,而hbase因其低成本、高可靠性和支持多种模态数据存储等特点,已成为大数据时代首选的数据库。考虑到医疗大数据来源广泛、规模巨大、模态多样,因此设计一个满足医疗大数据统一存储、检索和管理的模型是异常复杂的。为实现上述目标,本文研究了以下内容:(1)本文设计了一个适用于多模态医疗大数据的存储模型。首先,通过梳理医疗大数据的来源及其模态构成,结合医疗大数据的特点,本文设计了一个基于hbase的医疗大数据存储模型。为了实现模型的可扩展性,不同模态的数据被分类存储在不同的列簇中,以提高数据的读写效率,方便管理和维护多模态。其次,本文采用预分区和Row Key打散的策略来解决写热点问题,实现了数据在不同的Region Server中的均匀分布,从而避免了性能瓶颈的产生。最后,本文比较了常见的大数据压缩算法,并选择了适合医疗大数据的最佳算法进行压缩。该压缩算法可以减少存储空间,同时保证数据传输效率和完整性。经实验证明,该存储模型具有可行性和高效性,能够满足多模态医疗大数据的统一存储需求。(2)本文对上述存储模型的检索性能进行了优化。一方面,数据动态管理模块提出了识别数据温度的S-TCR方法和为不同数据动态选择最佳存储介质的SL-TCR算法,以最大限度地发挥快速存储介质的性能优势,从而有效地提高检索速度。另一方面,索引管理模块提出了改进的二级索引优化策略,即使用Bloom Filter过滤不存在的检索关键词,并重设计索引的Row Key,使主数据和索引数据由同一个Region Server管理,以减少I/O开销,从而提高医疗数据的多样化检索速度。经过实验验证,该检索优化方案能够满足医疗领域对于检索速度和多样化检索的要求。图36幅,表10个,参考文献70篇

关键词：分布式存储技术 hbase数据库医学大数据存储模型检索优化冷热数据分离方案

计量自动化系统分布式计算和大数据分析技术研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

工业控制计算机 2023年第10期36卷 140-142页

作者：蔡乾乾孙勇阙华坤冯小峰黄盛周东旭广东电网有限责任公司计量中心广东广州510000

广东电网省级集中计量自动化系统电能量数据采集范围已覆盖全省4000万以上低压用户,成为超大规模系统,在数据采集、处理、计算、分析等方面,系统将面临巨大的压力。为了提高计量自动化系统电能量数据处理水平,保障业务正常开展,提出一... 详细信息

广东电网省级集中计量自动化系统电能量数据采集范围已覆盖全省4000万以上低压用户,成为超大规模系统,在数据采集、处理、计算、分析等方面,系统将面临巨大的压力。为了提高计量自动化系统电能量数据处理水平,保障业务正常开展,提出一种基于Spark分布式计算框架和hbase数据库的分布式计算和存储架构,实现海量数据并发入库,提升大数据分析服务能力,更好地支撑计量系统电量分析、负荷计算、停电时间统计、电量质量计算等业务应用。

关键词：计量自动化系统 Spark hbase数据库大数据分析

基于大数据平台的肉食品追溯技术的研究与应用

在线全文

学校读者我要写书评

暂无评论

移动信息 2023年第3期45卷 162-164页

作者：时海霞包头职业技术学院内蒙古包头014035

近年来,世界范围内广泛关注如何确保肉类食品安全,因为疯牛病、瘦肉精、非洲猪瘟、毒火腿、假羊肉等国内外重大肉食品安全事件的爆发,如何确保肉类食品的安全性已是一个全球性问题。文中主要介绍了内蒙古羊肉的追溯技术,能有效控制养殖... 详细信息

近年来,世界范围内广泛关注如何确保肉类食品安全,因为疯牛病、瘦肉精、非洲猪瘟、毒火腿、假羊肉等国内外重大肉食品安全事件的爆发,如何确保肉类食品的安全性已是一个全球性问题。文中主要介绍了内蒙古羊肉的追溯技术,能有效控制养殖、屠宰、运输、销售等过程中的不正当操作,防止在其中添加有害物质。同时利用大数据平台,实现了数据的分布式存储,解决了传统数据库不能对海量数据进行存储的问题,以确保内蒙古羊肉产品的优质、安全,增强消费者的信心,提高内蒙古羊肉产品的质量和行业竞争力。

关键词：食品安全追溯技术 Hadoop平台 hbase数据库推荐算法