检索结果-南通市图书馆

监控视频云计算平台中数据放置策略研究与应用

在线全文

学校读者我要写书评

暂无评论

监控视频云计算平台中数据放置策略研究与应用

作者：许彬北京邮电大学

学位级别：硕士

随着社会对安防的重视,监控摄像头遍布城市的各个角落,而且数量还在不断增长,由此产生了海量的监控视频数据,分布式处理监控视频数据成为一种趋势。传统的监控视频离线处理系统在分布式处理大规模视频数据时,集群内节点存在负载不均衡... 详细信息

随着社会对安防的重视,监控摄像头遍布城市的各个角落,而且数量还在不断增长,由此产生了海量的监控视频数据,分布式处理监控视频数据成为一种趋势。传统的监控视频离线处理系统在分布式处理大规模视频数据时,集群内节点存在负载不均衡的问题,集群内节点之间往往会产生大量的网络数据传输,从而降低了分布式视频处理任务的计算效率。传统的分布式监控视频离线处理系统存在的问题表明视频大数据的分布式存储策略与分布式计算框架的协作显得尤为重要。首先,本文通过分析当前主流的智能监控视频处理算法和分布式计算框架,在实验的基础上提出了一种面向监控视频数据块处理的时间预测模型(CTPM),该预测模型利用了视频数据块的特征,例如分辨率、帧率、时长以及集群中节点的计算能力等,能够预测视频处理任务在不同节点上所需要的处理时间。其次,本文提出一种基于CTPM时间预测模型的监控视频数据块初始放置算法(IDPA),该策略将同属于一个处理任务的视频数据块集合DBG作为基本的放置单元,通过CTPM模型预测每个DBG的处理时间,然后基于负载均衡原则将数据块在集群中合理放置。考虑到混合集群中节点的计算能力会动态变化,导致IDPA算法出现较大的误差,因此本文提出一种基于CTPM时间预测模型的数据迁移算法(DRA),对某些计算能力发生显著变化的节点进行数据迁移,保证集群负载均衡,提高集群的资源利用率。最后,为了验证本文提出的监控视频数据放置策略,本文实现了基于Spark分布式计算框架的离线视频浓缩算法,使用交通监控视频作为数据源,实验结果表明,IDPA和DRA算法能够显著地降低监控视频分布式处理任务的完成时间,使集群内各节点负载均衡,提高了集群的资源利用率。

关键词：数据放置策略数据迁移策略离线视频处理云计算

Elasticsearch数据存储策略研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Elasticsearch数据存储策略研究

作者：李传根重庆邮电大学

学位级别：硕士

当今社会计算机和互联网发展迅猛,各行各业每天都会产生数以亿计的数据,如何从海量数据中快速地进行数据检索,已成为用户的迫切需求。为此,以Elasticsearch,Solr,Index Tank为代表的搜索引擎框架应运而生,其中Elasticsearch分布式搜索... 详细信息

当今社会计算机和互联网发展迅猛,各行各业每天都会产生数以亿计的数据,如何从海量数据中快速地进行数据检索,已成为用户的迫切需求。为此,以Elasticsearch,Solr,Index Tank为代表的搜索引擎框架应运而生,其中Elasticsearch分布式搜索引擎因其实时性高,可用性强,使用简单和检索效率高等良好特性,得到了业内各大互联网公司及众多科研机构的青睐,广泛地应用在各行各业的实际生产和工作中,成为了主流的全文搜索引擎框架。论文首先针对Elasticsearch分布式搜索引擎框架的应用现状、研究现状、相关文献及源代码进行深入调查和研究,分析了Elasticsearch的架构组成、运行机制和实现原理,归纳总结出Elasticsearch中索引段合并机制、路由机制及数据放置策略存在的问题,提出相应的改进策略并通过实验加以验证,主要完成的工作如下:Elasticsearch的索引段合并方面,由于现有的策略在合并时机上没有考虑节点的负载,在集群高负载情况下,由于线程的上下文切换及资源争用,会降低索引段合并的速度及集群的吞吐量;此外,现有合并策略并没有优化数据分布,从而影响数据检索效率。为此提出基于相似度评价模型的索引段合并策略,该策略通过选择不同的索引段合并方式,从而减少索引段合并次数,提高了集群的吞吐量;进一步地,通过相似度评价模型选择出最优的待合并索引段,从而提高数据的检索速度。Elasticsearch的文档路由及数据放置方面,其默认的路由公式让所有的数据都均匀地分布到各个索引分片中,查询时再从所有分片中进行遍历,对于小量数据的查询不够高效;此外,现有放置策略也存在不同主题类别数据分布不均及数据导入效率低的问题。为此,提出基于分片绑定的数据放置策略,该策略基于数据分片绑定能够根据数据的大小及冷热程度选择不同的数据存储方式,并通过分片绑定模型选择出最优的分片绑定节点,从而优化了数据的存储分布,提高了数据的读写效率。论文研究工作表明,基于Elasticsearch分布式搜索引擎框架,研究其数据存储策略,进一步优化其索引段合并和数据放置策略,可以提高Elasticsearch的检索速度和吞吐量,对Elasticsearch搜索引擎框架的应用及推广具有重要意义。

关键词： Elasticsearch 相似度评价模型索引段合并分片绑定数据放置策略

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式存储中数据分布策略的分析与研究

河北建筑工程学院学报 2012年第3期30卷 64-69页

作者：庞慧陈艳君河北建筑工程学院河北张家口075000 北京交通大学计算机与信息技术学院北京100000

通过对当前已有分布式存储中数据放置策略与动态负载平衡算法的研究及学习,本文简单分析了分布式存储架构模型;详细介绍了分布式缓存的问题;研究了哈希算法,并对其容错性和可扩展性进行了分析;分析了虚拟节点的引入原理;并深入研究了基... 详细信息

通过对当前已有分布式存储中数据放置策略与动态负载平衡算法的研究及学习,本文简单分析了分布式存储架构模型;详细介绍了分布式缓存的问题;研究了哈希算法,并对其容错性和可扩展性进行了分析;分析了虚拟节点的引入原理;并深入研究了基于节点容量感知的负载均衡策略.最后,针对当前分布式存储中数据应用环境中数据分布策略可扩展性以及灵活性的不足,并结合所得的研究成果写出了个人心得,提出一种更加合理的数据分布策略.

关键词：分布式存储数据放置策略负载均衡策略

在线全文

学校读者我要写书评

暂无评论

基于Docker的云资源弹性调度策略

计算机应用 2018年第2期38卷 557-562页

作者：彭丽苹吕晓丹蒋朝惠彭成辉贵州大学计算机科学与技术学院贵阳550025

针对云资源弹性调度问题,结合Ceph数据存储的特点,提出一种基于Docker容器的云资源弹性调度策略。首先,指出Docker容器数据卷不能跨主机的特性给应用在线迁移带来了困难,并对Ceph集群的数据存储方法进行改进;然后,建立了一个基于节点综... 详细信息

针对云资源弹性调度问题,结合Ceph数据存储的特点,提出一种基于Docker容器的云资源弹性调度策略。首先,指出Docker容器数据卷不能跨主机的特性给应用在线迁移带来了困难,并对Ceph集群的数据存储方法进行改进;然后,建立了一个基于节点综合负载的资源调度优化模型;最后,将Ceph集群和Docker容器的特点相结合,利用Docker Swarm实现了既考虑数据存储、又考虑集群负载的应用容器部署算法和应用在线迁移算法。实验结果表明,与一些调度策略相比,该调度策略对集群资源进行了更细粒度的划分,实现了云平台资源的弹性调度,并在保证应用性能的同时,达到了合理利用云平台资源和降低数据中心运营成本的目的。

关键词：弹性调度应用迁移数据放置策略 Swarm编排器 Docker容器 Ceph集群

在线全文

学校读者我要写书评

暂无评论

基于Ceph集群的能耗管理策略研究

计算机工程与应用 2018年第10期54卷 66-72,134页

作者：彭丽苹吕晓丹蒋朝惠贵州大学计算机科学与技术学院贵阳550025

数据中心能耗高是云计算发展过程中一个亟待解决的关键问题。建立了一个集群能耗优化模型,并在此基础上提出了一种基于Ceph集群的数据副本放置策略。该策略在考虑集群可用性和容错性的同时,采用了顺序存储和随机存储相结合的存储方法,使... 详细信息

数据中心能耗高是云计算发展过程中一个亟待解决的关键问题。建立了一个集群能耗优化模型,并在此基础上提出了一种基于Ceph集群的数据副本放置策略。该策略在考虑集群可用性和容错性的同时,采用了顺序存储和随机存储相结合的存储方法,使得Ceph集群在满足用户SLA需求和保证集群性能的前提下,达到节能的目的。实验结果表明,与原始Ceph集群相比,该数据副本放置策略在保证集群服务质量的同时,使得数据中心耗电量降低了14.3%。

关键词： Ceph集群能耗模型数据放置策略能耗管理

在线全文

学校读者我要写书评

暂无评论

面向智能电网云存储的副本技术研究

面向智能电网云存储的副本技术研究

作者：王琦华北电力大学

学位级别：硕士

近年来随着国家智能电网的发展,智能电网采集到的数据成倍增长,不仅包括结构化数据,而且包括一些半结构化、非结构化的音频视频数据。如何安全的存储和高效的处理这些数据,成为智能电网发展亟待解决的问题。云存储系统具有安全性高、数... 详细信息

近年来随着国家智能电网的发展,智能电网采集到的数据成倍增长,不仅包括结构化数据,而且包括一些半结构化、非结构化的音频视频数据。如何安全的存储和高效的处理这些数据,成为智能电网发展亟待解决的问题。云存储系统具有安全性高、数据存储量大、易扩展等特点,能够有效的存储智能电网采集的海量数据。云存储副本技术,可以有效的保证数据存储的安全性与处理任务的并发性,然而副本技术又带来了诸如副本一致性,负载均衡,副本访问代价等一系列问题。而良好的数据放置策略可以解决负载均衡问题,数据选择策略可以选择代价最小的数据副本。智能电网云存储系统中的数据放置策略以及数据选择策略是本文研究的重点。首先,给出了基于相对存储能力的副本放置策略与基于访问热度的调整策略。由于智能电网云存储系统数据副本放置的不规范性,根据异构节点的相对存储能力进行数据存储,保证了负载均衡;并且根据智能电网采集数据的相关性,通过设置相关系数,将相关联数据进行集中存放,确保了关联查询速度;根据智能电网数据处理任务对副本数目的动态需求性,通过自适应反馈机制,根据数据的访问热度,对数据副本进行增减,平衡了读取负载以及节约了存储空间。其次,给出了基于局部最小化代价数据选择算法,由于智能电网数据处理任务在选择数据副本时,随机选择副本,而不考虑副本访问代价问题。该算法根据数据副本访问代价的不同,在数据的不同副本中选择代价最小的作为处理任务数据输入;并且优化了Map Reduce并行编程模型,根据前文中相关联数据集中存放,将数据连接操作在Map阶段进行,避免了Reduce阶段的数据拉取,减少了无关数据的传输,提高了智能电网数据处理的实时性。本文从智能电网云存储系统中的副本问题出发,紧紧围绕数据放置策略,数据选择策略这两个问题进行了深入的研究,提出了基于相对存储能力和副本访问热度的数据放置策略以及基于局部最小化代价的数据选择策略,可以很好地解决智能电网海量数据的存储以及最优数据副本选择问题。

关键词：智能电网云存储数据副本数据选择策略数据放置策略

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式存储系统上的RS纠删码研究与应用

分布式存储系统上的RS纠删码研究与应用

作者：周亮成都理工大学

学位级别：硕士

随着计算机、智能设备的普及,以及互联网技术的快速发展。各类数据呈几何数量级的激增,给存储系统带来了更多的挑战。数据的存储安全已经成为当前存储系统迫切需要解决的问题。目前,分布式存储是人们用来应对大数据量存储的有效手段。... 详细信息

随着计算机、智能设备的普及,以及互联网技术的快速发展。各类数据呈几何数量级的激增,给存储系统带来了更多的挑战。数据的存储安全已经成为当前存储系统迫切需要解决的问题。目前,分布式存储是人们用来应对大数据量存储的有效手段。在分布式存储系统上存在两种保障数据安全的方式:多副本技术和纠删码技术。多副本技术简单且易于实现,只需简单的对一份数据进行多次备份,并分开存放即可,以三副本策略最为常见。为了获得更稳定的数据安全保障,多副本技术只能通过增加副本数量来实现,同时带来的问题是存储成本在成倍的增加。为了解决多副本技术存储成本过高的问题,人们将通信系统中用于解决信息传递过程中数据丢失问题的纠删码技术引入到存储系统上来,纠删码技术能很好地解决存储成本过高的问题,同时能保证和多副本相同甚至更高的数据安全保障能力。在纠删码技术解决了多副本技术存储成本过高的问题的同时,却出现了新的问题:在数据丢失后恢复数据时的所消耗的系统资源和I/O数量大幅增加。正是出于这一目的,本文从RS纠删码入手,分析RS纠删码的编码方程和特点,并结合阵列码、LDPC码的优点,提出一种基于RS纠删码改进后的编码——LRC。给出LRC的定义和对LRC进行容错性分析;建立马尔科夫模型对其可靠性进行分析;还对其编码方程的构造矩阵和编码参数变化进行对比性分析。为了能够对LRC的编码思想进行应用,以开源分布式存储系统HDFS为平台,对HDFS存储系统的系统架构、数据放置策略进行分析和理解的基础上,从数据放置策略、数据重构过程和通信校验机制三个方面,提出在HDFS上实现LRC的设计思路。最后,通过三组对比实验得出:存储成本相似的情况下,LRC在解码时间上比RS编码节省近一半的时间成本;改变编码参数时,LRC的编解码性能不会大幅变化,且能提供更多的参数组合选择;在编码矩阵上,基于柯西矩阵的编码方程和基于范德蒙矩阵的编码方程具有相似的性能表现。

关键词：纠删码分布式存储编码方程数据放置策略

基于ZNS SSD的云块存储系统写放大优化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于ZNS SSD的云块存储系统写放大优化

作者：罗斯琦华中科技大学

学位级别：硕士

固态硬盘(Solid State Drives,SSDs)内部以日志结构的方式管理数据,在垃圾回收(Garbage Collection,GC)时需要重新写入有效数据,造成了写放大问题,损害SSD的性能和寿命,究其本质是传统SSD无法感知主机端数据的热度信息,很容易将冷热数... 详细信息

固态硬盘(Solid State Drives,SSDs)内部以日志结构的方式管理数据,在垃圾回收(Garbage Collection,GC)时需要重新写入有效数据,造成了写放大问题,损害SSD的性能和寿命,究其本质是传统SSD无法感知主机端数据的热度信息,很容易将冷热数据混合放置,从而频繁触发GC操作。ZNS(Zone Namespace)SSD允许用户在主机端自定义数据放置策略,将冷热数据分区放置,为改善写放大问题提供了良好的契机。然而,面对云块存储系统海量且频繁变化的I/O负载,如何在ZNS SSD中合理地放置数据以减轻写放大是一个严峻挑战。首先,通过对云块存储系统负载进行深入地分析,发现数据块写入频率和块寿命整体分布类似,均遵循Zipf定律。接着提出了适用于ZNS SSD的理论最优放置策略ZB-OPT(ZNS-Based OPT),基于未来块寿命信息,按照指数型阈值区间进行块寿命分类,可以实现最小化写放大的效果,为真实场景中的写放大优化提供理论上限。然后,针对现有研究通过预测未来块寿命进行冷热数据分类的方案无法兼顾准确性和额外开销的问题,参考负载分析的结论,提出了基于块热度的数据放置策略(Block-Heat-Based Data Placement,BHB-DP),采用一种轻量级、两阶段的数据热度分类方案,根据写入频率和块寿命,通过计算加策略的方式获取块热度值,低开销动态识别冷热数据;再根据块热度值进行数据分类放置,减少GC过程中的数据迁移,降低整体写放大。最后,为了解决GC过程中的误判问题和避免负收益现象,还设计了CBE(Cost-Benefit-Enhanced)算法用于挑选待回收区域,并与BHB-DP相结合,进一步降低GC造成的负面影响。在真实场景负载下的测试结果表明,BHB-DP相较目前最新的数据放置策略,写放大平均降低了19%,垃圾回收写入量平均降低了49.8%,垃圾回收次数平均减少了21.1%。

关键词：固态硬盘分区命名云块存储系统数据放置策略写放大

不均衡环境下面向Hadoop的负载均衡算法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

不均衡环境下面向Hadoop的负载均衡算法研究

作者：刘党朋北京邮电大学

学位级别：硕士

Hadoop是大数据最重要的处理框架之一,其核心包括MapReduce和HDFS两部分。MapReduce是负责数据处理的框架,通过对输入数据进行拆分、组合可对其进行高效的分析处理。HDFS负责数据的存储管理,它能够在低成本的计算机上运行,并通过检测和... 详细信息

Hadoop是大数据最重要的处理框架之一,其核心包括MapReduce和HDFS两部分。MapReduce是负责数据处理的框架,通过对输入数据进行拆分、组合可对其进行高效的分析处理。HDFS负责数据的存储管理,它能够在低成本的计算机上运行,并通过检测和应对硬件故障来实现系统的容错性能。在同构的Hadoop集群中,所有节点的性能基本一致,Hadoop在执行任务时能够获得较好的性能。但在不均衡环境中,由于集群中的节点在数据的处理能力、磁盘的使用情况、不同文件的访问频率等方面的差异性,会导致Hadoop集群出现负载均衡的问题。这个问题主要涉及两方面,一个是MapReduce的负载均衡问题,另一个是HDFS的数据放置负载均衡问题。针对这两个问题,本文分别进行了深入研究,并提出了解决相应问题的关键技术。针对MapReduce的负载均衡问题,本文提出了基于节点性能的MapReduce负载均衡算法(LBNP, ALoadBalanceAlgorithmBasedonNodesPerformanceinHadoopCluster).该算法以节点性能评价模型为核心,对Hadoop集群中各节点的计算能力进行评估,并依据性能估值在Reduce阶段对输入数据进行合理分配。针对HDFS数据放置的负载均衡问题,本文提出了一种新型节点负载评估模型,并以此模型为基础提出了一种新的备份数据块放置策略。其中,节点负载评估模型以不均衡环境下集群中的节点性能、磁盘使用率、文件访问频率等因素为衡量因子。新的备份数据块放置策略优先选取集群中负载较小的节点为数据块备份节点,从而达到提升集群的负载均衡程度、提高集群的工作效率的目的。最后,本文通过对新的算法与策略的全面实验仿真,并与原始的Hadoop框架进行比较,证明了该算法对集群负载均衡的有效性和在执行MapReduce任务时的高效性。

关键词： HadoopMapReduceHDFS负载均衡数据放置策略不均衡环境