检索结果-南通市图书馆

基于数据热度的消防监测数据分级存储技术及应用

在线全文

学校读者我要写书评

暂无评论

基于数据热度的消防监测数据分级存储技术及应用

作者：敖宇超重庆大学

学位级别：硕士

消防监测数据能够反映现场各个消防设备运行状态和整体态势,能为人们提供消防决策依据,及时且不遗漏地获取现场各消防监测数据,对于消防设备和系统的运行可靠性起着重要作用。从已有的各类消防监测采集机制和消防信息化系统来看,尚未存... 详细信息

消防监测数据能够反映现场各个消防设备运行状态和整体态势,能为人们提供消防决策依据,及时且不遗漏地获取现场各消防监测数据,对于消防设备和系统的运行可靠性起着重要作用。从已有的各类消防监测采集机制和消防信息化系统来看,尚未存在有别于一般信息化系统的监测数据推送和存储机制。监测数据的交互资源分配策略不合理导致实时监测在数据丢包、交互响应不及时、相关扩展应用延迟等方面问题突出。人们希望按照一定的策略对消防数据进行存储资源的合理规划,以响应对消防监测数据应用的实时性需求,具有现实的研究意义。本文以消防监测系统为例,针对其监测系统中“小样本、非典型”的监测数据,运用模块化设计的基本思想,设计了一种可对实时监测数据及时推送并动态分配存储资源的功能架构。在该架构中运用专家评价法对实时数据做预选和排序处理,构造热度计算模型进行热度值分析,获得监测数据的数据热度排序,制定出分配存储资源的策略,确保热度较高的数据具有更快的访问效率,以提高实时交互性能。论文对消防监测信息化平台分析处理做了探索和研究,并以此为基础进行了软件平台实现,对于监测系统的运行记录、数据分析和后期的控制决策精确化具有参考意义。论文主要工作内容如下:针对消防现场监测系统的数据特性和实时交互需求,定义了异常数据采集时间和当前时间的差值、以及异常数据类型的等级量化赋值等数据热度的关键指标,结合指标各自的调整系数,修正并定义了监测数据的热度;使用专家评价法得到监测数据热度排序,基于该排序结果,采用回归分析方法对热度模型的调整系数进行训练得到确定是系数值,由此给热度模型确定了表达式的系数,再将专家排序结果引入到热度模型,最终得到基于本热度模型计算下的监测数据热度排序,最后通过与专家所排热度序列结果比对,引入排序结果的逆序数并统计出现的次数最终通过正确率的计算,验证了该热度模型对专家排序的正确性与可行性;采用分区存储的结构,分级存储不同类型的异常检测数据,通过实验环节对数据区分以及存储分配调整前后的访问性能进行了验证,达到了按热度分析区分数据并按,对数据存储访问的性能做到了提升。在研究中,还根据消防现场监测和数据分析的需求,设计了一个相应的软件平台,主要实现实时数据监测、历史数据查询和异常报警管理等功能,并给出了系统的实际实现,各功能的详细说明与样例分析具体过程。

关键词：消防系统消防监测数据数据热度数据区分分级存储

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种基于数据热度的缓存策略

信息与电脑 2021年第12期33卷 196-199页

作者：冯东煜王鹏达黄飞龙岳爽中国电子科技集团公司电子科学研究院北京100041 电科云(北京)科技有限公司北京100041 中国电子科技集团公司第四十五研究所北京100176

缓存是存储系统的关键部件之一,良好的缓存策略能够有效提升数据访问性能。传统基于时间局部性和访问频率的缓存策略已难以适应大数据背景下热点数据集中访问的需求。笔者提出一种基于数据热度的缓存策略(Hot Data Cached Based on Temp... 详细信息

缓存是存储系统的关键部件之一,良好的缓存策略能够有效提升数据访问性能。传统基于时间局部性和访问频率的缓存策略已难以适应大数据背景下热点数据集中访问的需求。笔者提出一种基于数据热度的缓存策略(Hot Data Cached Based on Temperature,HDCT),综合考虑访问时间局部性和访问频率动态性,通过访问加热、周期性冷却动态调节数据热度,实现基于数据热度的缓存管理。实验表明,相对传统的LRU和LFU策略,HDCT策略在提升缓存命中率方面具有良好的效果。

关键词：缓存数据热度时间局部性访问频率缓存命中率

基于数据更新间隔的NAND闪存垃圾回收算法

在线全文

学校读者我要写书评

暂无评论

计算机工程 2022年第3期48卷 54-59页

作者：余进严华四川大学电子信息学院成都610065

闪存因具有速度快、体积小等优点而广泛应用于数据存储领域,为提高NAND闪存的垃圾回收效率、延长闪存使用寿命,提出一种基于数据更新间隔的垃圾回收算法UIGC。计算闪存中空闲页的分散度,将其作为垃圾回收触发条件。从垃圾回收效率和磨... 详细信息

闪存因具有速度快、体积小等优点而广泛应用于数据存储领域,为提高NAND闪存的垃圾回收效率、延长闪存使用寿命,提出一种基于数据更新间隔的垃圾回收算法UIGC。计算闪存中空闲页的分散度,将其作为垃圾回收触发条件。从垃圾回收效率和磨损均衡效果2个方面出发,综合考虑块中无效页年龄累计和以及块中有效页比例,使用动态回收块选择和静态回收块选择相结合的策略来选择目标回收块,根据回收块中有效页数据更新间隔判断有效页热度,同时提出数据更新稳定性的概念来划分有效页的数据更新状态,将具有不同热度和更新状态的有效页数据分别存储在不同的空闲块中,从而提高块中数据的同步更新概率。实验结果表明,UIGC算法相较于CAT、FaGC等现有垃圾回收算法具有更优的垃圾回收效率和磨损均衡效果,并能有效延长闪存使用寿命。

关键词： NAND闪存垃圾磨损均衡更新间隔数据热度更新稳定性数据分离文件系统

异构Hadoop集群中数据副本放置策略优化

在线全文

学校读者我要写书评

暂无评论

华中科技大学学报（自然科学版） 2016年第7期44卷 63-68页

作者：刘艳蔡燕冬谢晓东张庆磊华侨大学计算机科学与技术学院福建厦门361021

针对默认的Hadoop数据副本策略未考虑集群节点硬件配置的异构、文件访问特点、实时负载等信息,导致异构环境中集群计算任务本地化比例下降、影响计算性能,提出计算型数据的副本放置优化策略.量化数据访问特征以及节点实时性能和负载,以... 详细信息

针对默认的Hadoop数据副本策略未考虑集群节点硬件配置的异构、文件访问特点、实时负载等信息,导致异构环境中集群计算任务本地化比例下降、影响计算性能,提出计算型数据的副本放置优化策略.量化数据访问特征以及节点实时性能和负载,以节点数据访问负载与其计算性能相匹配为原则为副本选择存储节点.实验结果表明:与默认策略相比,优化的副本放置策略能更有效地为副本选择合适的存储节点,提高计算任务本地化比例和计算性能,并使集群对节点的变动具有更好的适应性.

关键词：分布式文件系统 Hadoop 数据放置异构数据热度

在线全文

学校读者我要写书评

暂无评论

基于SSD的机群文件系统元数据存储系统

计算机研究与发展 2012年第S1期49卷 269-275页

作者：陈卓熊劲马灿中国科学院计算技术研究所先进计算机系统实验室北京100190 中国科学院研究生院北京100049

随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SS... 详细信息

随着数据量的增加和元数据操作性能需求的提高,传统基于磁盘(HDD)存储架构的机群文件系统元数据存储系统由于HDD成为性能瓶颈而无法满足需求.将SSD应用到元数据存储中,设计实现了一个基于SSD+HDD的异构元数据存储系统Hybrid MDSL.针对SSD的I/O特性设计了基于追加写的元数据存储组织,并通过基于访问热度的数据迁移机制提高SSD空间利用率.测试结果表明,Hybrid MDSL明显提高了元数据I/O的性能.

关键词：机群文件系统 SSD 元数据存储系统数据热度

基于时标分层技术的时序数据存储引擎研究与实现

在线全文

学校读者我要写书评

暂无评论

计算机应用 2017年第A1期37卷 246-249页

作者：郑晓露粟勇朱月梅江苏瑞中数据股份有限公司南京210012

针对使用时序数据库存储海量时序数据场景下,数据量增大导致数据写入和查询效率降低的问题,提出一种基于时标分层的时序数据存储引擎。通过将内存(RAM)、固态硬盘(SSD)、机械硬盘(HDD)三种存储介质存储特性与时序数据业务场景相结合,基... 详细信息

针对使用时序数据库存储海量时序数据场景下,数据量增大导致数据写入和查询效率降低的问题,提出一种基于时标分层的时序数据存储引擎。通过将内存(RAM)、固态硬盘(SSD)、机械硬盘(HDD)三种存储介质存储特性与时序数据业务场景相结合,基于数据时标实现数据热度划分、数据分层与数据迁移操作,提高RAM和SSD使用率,提升数据写入和查询效率。结合该引擎对现有"海迅"实时库(HS)进行优化改造,改造后的数据库写入和查询性能分别提升70%和200%。

关键词：时序数据库存储引擎数据分层数据热度数据迁移

面向航天遥测数据的分布式存储系统负载均衡控制研究

在线全文

学校读者我要写书评

暂无评论

面向航天遥测数据的分布式存储系统负载均衡控制研究

作者：李浩重庆大学

学位级别：硕士

在航空航天领域遥测系统承担着监测、传输和处理运载器运行状态和数据的职责,遥测数据为地面工作者提供运载器运行工况监测、安全评估的数据支撑,是保证运载器安全性、可靠性的重要依据。为了满足实时监控的要求,往往采用分布式存储系... 详细信息

在航空航天领域遥测系统承担着监测、传输和处理运载器运行状态和数据的职责,遥测数据为地面工作者提供运载器运行工况监测、安全评估的数据支撑,是保证运载器安全性、可靠性的重要依据。为了满足实时监控的要求,往往采用分布式存储系统实现数据的存储,然而由于遥测数据的数据量大、数据类型多,分布式存储系统易发生读写效率低、稳定性下降的问题,无法满足运载器实时状态监测与安全性评估的基本需求。本文针对分布式存储系统在航天应用中的可靠性和高效性的问题,详细阐述了负载均衡技术的重要作用,进而针对现有负载均衡算法在请求分配和数据存储静态性上的不足,展开了以下研究:针对遥测数据存储过程中,现有负载均衡算法对请求的分配未考虑系统各节点的实时负载状态和不同请求差异性的问题,本文根据节点状态和数据属性建立了数据热度模型,以热度值来反映读写此数据对节点负载的影响程度。采用长短时记忆网络预测数据热度解决时延问题,最后通过负载聚类指导请求分配到低负载节点。针对遥测数据读取过程中,由于数据存储的静态性导致负载控制失效的问题,本文基于热度值建立数据调度模型,模拟热量流动将高负载节点的高热数据调度到低负载节点以此平衡负载,同时通过遗传算法搜索最优调度方案,使调度过程对系统负载的影响尽可能的小。结合数据热度模型和数据调度模型,利用CloudSim搭建分布式存储仿真平台,然后模拟实际航天任务中对遥测数据的读写操作,实现分布式存储系统的负载均衡控制,并与其他负载均衡算法进行对比分析,验证本文研究的方法对系统负载控制的有效性和适用性,并最终保证系统的稳定性和读写的高效性,满足遥测数据在分析应用中的基本要求。

关键词：航天遥测分布式存储负载均衡数据热度数据调度

Hadoop中数据放置优化机制的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Hadoop中数据放置优化机制的研究与实现

作者：杜瑶东南大学

学位级别：硕士

Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)作为新一代企业级存储架构的核心,是云计算和大数据时代应对存储容量压力、I/O性能瓶颈、存储成本危机等诸多挑战的重要支撑技术。HDFS将大数据进行分块存储并按照一定的数... 详细信息

Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)作为新一代企业级存储架构的核心,是云计算和大数据时代应对存储容量压力、I/O性能瓶颈、存储成本危机等诸多挑战的重要支撑技术。HDFS将大数据进行分块存储并按照一定的数据放置策略分布存储到各个数据节点,来提升数据中心的存储和处理效率,从而达到整个云平台的高可用性和高可靠性等目标。然而,随着云计算应用的不断拓展和数据中心模式的不断演化,上层大数据应用所产生的业务数据呈现出越来越明显的“冷”、“热”属性,给HDFS的数据管理带来了新的挑战:一方面,对于存储占比较大且访问频率较低的冷数据,如果仍采用HDFS默认的三副本冗余策略,将会给数据中心带来巨大的存储代价;另一方面,数据量的剧增使得数据中心不断扩容,节点异构性愈发突显,HDFS机架感知的数据放置策略由于忽略了节点及数据热度的异构性,导致节点负载和数据资源分配不均,从而降低了存储系统的整体性能。为了解决以上问题,本硕士论文针对数据热度划分和数据放置优化两个关键技术,研究相关的机制和算法,期望在保证数据可靠性的同时,能够减少存储代价并提高系统整体性能。具体地,本论文从以下三个方面开展研究工作:首先,研究基于时间序列的数据热度划分方法。针对现有HDFS三副本冗余策略忽略了数据热度导致存储成本过高的问题,提出了热度感知划分算法,即得到用户对于数据访问频率的时间序列,计算出时间序列的DTW距离,然后通过K-means聚类算法,将时间序列转化为数据的热度属性,为后面数据放置策略提供基础。其次,研究热度敏感的数据放置优化策略。针对HDFS数据放置过程中忽视了节点异构性导致系统性能下降的问题,对于冷、热数据分别提出了相应的放置优化策略:对于访问频率高的热数据,提出了一个动态副本感知的数据放置方法,用以提高存储系统的整体性能;对于访问频率低的冷数据,提出了一个基于纠删码冗余的数据放置机制,在保证数据可用性的前提下,降低存储成本。最后,基于上述理论研究成果,设计并开发面向HDFS的数据放置优化系统KittyTwinkle。通过增加数据统计模块并修改数据放置过程等,实现HDFS中数据放置的优化管理,并部署于东南大学云计算中心环境中进行应用验证。实验结果表明,本文所提基于时间序列的数据热度划分方法和热度敏感的数据放置优化策略,在保证数据可用性的同时,能够显著地减少数据中心的存储代价,并能有效提升存储系统的性能,为大数据的存储和管理提供了行之有效的解决方案。

关键词：数据放置数据热度 Hadoop分布式系统纠删码副本

面向Geo-distributed云存储服务中副本放置研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向Geo-distributed云存储服务中副本放置研究

作者：赵玉杰南京邮电大学

学位级别：硕士

随着互联网技术的发展,云计算应用越来越广泛,数据量呈现出爆炸式的增长,如何对海量数据进行有效的存储一直是研究的热点。尤其随着近几年大数据和云计算的快速发展,单一的数据中心不能满足当前的存储需求,一个解决方法是可以将数据中... 详细信息

随着互联网技术的发展,云计算应用越来越广泛,数据量呈现出爆炸式的增长,如何对海量数据进行有效的存储一直是研究的热点。尤其随着近几年大数据和云计算的快速发展,单一的数据中心不能满足当前的存储需求,一个解决方法是可以将数据中心部署在Geo-distributed环境下,多个数据中心部署在不同的地理位置。如何保证Geo-distributed系统的性能是非常重要的研究方向,对系统中的数据副本进行合理放置,是一种可以有效提高系统性能的方法。本文提出的Geo-distributed数据副本放置方法,主要工作包括以下方面的内容:(1)在传统副本放置方法的基础上,根据Geo-distributed环境的特点,提出了一种新的数据副本放置方法,不仅考虑集群中数据节点当前的存储负载情况,还将影响性能的因素:数据节点的网络带宽、磁盘负载、数据节点的距离考虑在内。(2)提出一种Geo-distributed环境下基于热度感知的数据副本放置方法,在统计数据访问热度计算,提出一种动态时间窗口的计算方法,根据数据访问改变率的大小,调整时间窗口大小。还考虑到在Geo-distributed环境下数据节点的差异性,根据历史信息将访问热度高的数据副本放置到物理性能高的数据节点中,这样可以保证系统的性能,提高用户访问效率。最后通过基于Hadoop平台设计实现了Geo-distributed云存储原型系统,在系统中设计相关的业务场景,验证结果表明,本文提出的数据副本放置方法是可行的。

关键词： Geo-distributed 云存储副本放置数据热度