检索结果-南通市图书馆

一种Hadoop异构集群下提高数据本地性的分发算法

在线全文

学校读者我要写书评

暂无评论

信息通信 2014年第2期27卷 53-54页

作者：陈亮四川大学计算机学院四川成都610065

Hadoop异构集群由于不同slave节点的硬件配置不同(例如CPU、内存、磁盘等),每个节点的Map任务和Reduce任务的slot也不同。文章通过研究当前Hadoop系统上实现数据本地性的算法,提出一种基于异构节点的性能来分发Map任务的输入数据的算法... 详细信息

Hadoop异构集群由于不同slave节点的硬件配置不同(例如CPU、内存、磁盘等),每个节点的Map任务和Reduce任务的slot也不同。文章通过研究当前Hadoop系统上实现数据本地性的算法,提出一种基于异构节点的性能来分发Map任务的输入数据的算法,该算法评估每个slave节点的Map任务执行速度,将输入数据放在运行更快的节点上,以达到更好的数据本地性。

关键词： Hadoop 异构节点数据本地性 Map任务数据分发

FineFlow:FaaS工作流部署优化与执行系统

在线全文

学校读者我要写书评

暂无评论

软件学报 2024年

作者：刘璐高浩城陈伟吴国全魏峻中国科学院大学南京学院计算机科学国家重点实验室(中国科学院软件研究所) 中国科学院软件研究所中国科学院大学

FaaS (function-as-a-service,函数即服务)工作流由多个函数服务编排而成,通过对多个函数的协调控制来实现复杂的业务应用.当前FaaS工作流系统主要基于集中式的数据存储实现函数间的数据传递,导致FaaS函数间的数据传输开销大,显著影响... 详细信息

FaaS (function-as-a-service,函数即服务)工作流由多个函数服务编排而成,通过对多个函数的协调控制来实现复杂的业务应用.当前FaaS工作流系统主要基于集中式的数据存储实现函数间的数据传递,导致FaaS函数间的数据传输开销大,显著影响应用性能.在高并发情况下,频繁的数据传输还会产生严重的网络带宽资源争用,导致应用性能下降.针对上述问题,基于函数服务间的细粒度数据依赖分析,提出一种基于关键路径的函数部署优化方法,设计了依赖敏感的数据存取与管理机制,有效减少函数间数据传输,从而降低FaaS工作流应用执行的数据传输时延和端到端时延.设计实现了FaaS工作流系统FineFlow,并基于5个真实FaaS工作流应用开展实验评估.实验结果表明,相比于基于集中式数据存储函数交互机制的FaaS工作流平台, FineFlow能够有效降低FaaS工作流应用的数据传输时延:最高降低74.6%,平均降低63.8%;平均降低应用端到端执行时延19.6%.特别地,对于具有明显细粒度数据依赖的FaaS工作流应用,相比于现有的基于数据本地性的优化方法, FineFlow能够使数据传输时延和端到端时延进一步分别降低28.4%和13.8%.此外, FineFlow通过减少跨节点的数据传输,能够有效缓解网络带宽波动对FaaS工作流执行性能的影响,提升应用性能受网络带宽影响的鲁棒性.

关键词： FaaS工作流函数即服务服务器无感知计算数据本地性有向无环图关键路径部署优化

数据本地性感知的MapReduce负载均衡策略

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机科学 2015年第10期42卷 50-56页

作者：李航晨秦小麟沈尧南京航空航天大学计算机科学与技术学院南京210016

现有针对MapReduce的负载均衡调度的研究均未考虑中间数据的分布特点及网络传输的开销,导致额外的网络传输代价与系统效率的下降。为解决上述问题,提出了一种数据本地性感知的负载均衡策略。充分利用YARN中资源管理的新特性,在Map阶段... 详细信息

现有针对MapReduce的负载均衡调度的研究均未考虑中间数据的分布特点及网络传输的开销,导致额外的网络传输代价与系统效率的下降。为解决上述问题,提出了一种数据本地性感知的负载均衡策略。充分利用YARN中资源管理的新特性,在Map阶段对内存数据溢写的同时进行统计以获取数据分布,根据数据分布情况及各节点的计算能力进行任务调度,减少网络传输开销的同时尽量保证各节点的负载平衡。此外,通过引入细粒度分区与分区的自适应分裂策略,进一步提高在数据倾斜时调度策略的性能。对比实验结果表明,提出的负载均衡调度策略能有效提升性能,同时较好地降低网络总开销。

关键词：数据本地性数据倾斜负载均衡

在线全文

学校读者我要写书评

暂无评论

关联性驱动的大数据处理任务调度方案

软件学报 2017年第12期28卷 3385-3398页

作者：王玢吴雅婧阳小龙孙奇福北京科技大学计算机与通信工程学院北京100083

目前大数据处理过程较少关注任务所处理数据间的依赖关系,在任务执行过程中可能产生大量数据迁移,影响数据处理效率.为减少数据迁移,提升任务执行性能,从数据关联性及数据本地性两个角度出发,提出了一种数据关联性驱动的大数据处理任务... 详细信息

目前大数据处理过程较少关注任务所处理数据间的依赖关系,在任务执行过程中可能产生大量数据迁移,影响数据处理效率.为减少数据迁移,提升任务执行性能,从数据关联性及数据本地性两个角度出发,提出了一种数据关联性驱动的大数据处理任务优化调度方案:D^3S_2(data-dependency-driven scheduling scheme).D^3S_2由两部分组成:(1)数据关联性感知的数据优化放置机制(dependency-aware placement mechanism,简称DAPM),根据日志信息挖掘数据关联性,进而将强关联的数据聚合并放置于相同机架上,减少了跨机架的数据迁移;(2)数据迁移代价感知的任务优化调度机制(transfer-aware scheduling mechanism,简称TASM),完成数据放置后,以数据本地性为约束,对任务进行统一调度,最小化任务执行过程中的数据迁移代价.DAPM和TASM互相提供决策依据,以任务执行代价最小化为目标不断迭代调整调度方案,直至最优任务调度方案.在Hadoop平台上进行的实验结果表明:较之原生Hadoop,在不增加作业完成时间的基础上,D^3S_2减少了作业执行过程中的数据迁移量.

关键词：数据关联性数据本地性数据放置任务调度迁移代价感知

在线全文

学校读者我要写书评

暂无评论

基于数据中心负载分析的自适应延迟调度算法

通信学报 2011年第7期32卷 47-56页

作者：金嘉晖罗军舟宋爱波东方东南大学计算机科学与工程学院江苏南京211189

由于已有的延迟调度算法基于静态的等待时间阈值,因此不能适应云计算数据中心动态的负载变化。针对该问题,提出了等待时间阈值自适应调整模型。基于该模型,设计了自适应延迟调度算法(ADS)。ADS算法通过分析空闲计算节点的到达强度、网... 详细信息

由于已有的延迟调度算法基于静态的等待时间阈值,因此不能适应云计算数据中心动态的负载变化。针对该问题,提出了等待时间阈值自适应调整模型。基于该模型,设计了自适应延迟调度算法(ADS)。ADS算法通过分析空闲计算节点的到达强度、网络带宽和作业执行状态等参数,自适应调整等待时间阈值,以减少作业响应时间。基于开发的原型系统,验证了自适应调整模型,测试了算法性能。结果表明,ADS算法在作业响应时间等方面优于已有的延迟调度算法。

关键词：云计算延迟调度算法数据本地性自适应数据中心 Hadoop

在线全文

学校读者我要写书评

暂无评论

利用启发式数据分发策略求解全比较问题

计算机工程与设计 2022年第3期43卷 751-756页

作者：余先昊周凤贵州商学院计算机与信息工程学院贵州贵阳550001 贵州大学计算机科学与技术学院贵州贵阳550025

为在全比较(ATAC)问题的分布式计算中达到较高的性能,提出一种基于任务驱动启发式的数据分发策略,充分考虑分布式环境中的存储使用、数据本地性和负载平衡。提出两个分发数据的启发式规则;根据相关约束条件和任务需求,所有的数据项均可... 详细信息

为在全比较(ATAC)问题的分布式计算中达到较高的性能,提出一种基于任务驱动启发式的数据分发策略,充分考虑分布式环境中的存储使用、数据本地性和负载平衡。提出两个分发数据的启发式规则;根据相关约束条件和任务需求,所有的数据项均可在本地进行处理,使对于所有计算任务均具备良好的数据本地性。实验结果表明,对于64个节点的集群,所提策略实现了80%的存储节约量和100%的数据本地性,获得了理想化线性加速的89%。所提策略在ATAC问题的分布式计算中达到了较高性能。

关键词：全比较启发式分布式计算数据分发数据本地性

一种基于最大流的分布式存储系统中查询任务最优分配算法

在线全文

学校读者我要写书评

暂无评论

计算机学报 2019年第8期42卷 1858-1872页

作者：徐毅王建民黄向东董一峰康荣乔嘉林清华大学软件学院北京100084 大数据系统软件国家工程实验室北京100084 工业大数据系统与应用北京市重点实验室北京100084

分布式存储系统多采用数据分区和多副本机制来处理海量数据并提供高可用性.为了提高读写效率,现有系统在将任务分发给不同节点时往往需要考虑数据分区的情况,并使得任务分配能够保证数据本地性.然而,给定一个需要访问多个数据分区的查... 详细信息

分布式存储系统多采用数据分区和多副本机制来处理海量数据并提供高可用性.为了提高读写效率,现有系统在将任务分发给不同节点时往往需要考虑数据分区的情况,并使得任务分配能够保证数据本地性.然而,给定一个需要访问多个数据分区的查询任务,现有系统没有充分考虑节点的实际负载情况,导致虽然任务的分配满足数据本地性,但集群查询响应速度仍受到制约.该文提出一种在分布式存储系统中查询任务的节点分配算法,该算法不仅考虑了数据本地性,还利用了多副本机制确保节点间的负载均衡.算法的基本思想是将任务分配问题转化为最大流问题,并通过二分查找寻求最优分配方案.在实验阶段,该文首先通过模拟实验验证该算法的正确性,之后将该算法集成到Cassandra中作为一种新的负载均衡策略,并与Cassandra原生的两种策略进行性能对比.实验证明,该文提出的算法使得查询性能优于Cassandra原生的策略,平均查询时间缩短为原有策略的50%,某些情况下可以缩短为11%.

关键词：数据分区数据本地性查询优化最大流负载均衡分布式存储系统

面向海量数据的MapReduce本地优先作业调度策略研究与实现

在线全文

学校读者我要写书评

暂无评论

面向海量数据的MapReduce本地优先作业调度策略研究与实现

作者：华中杰国防科学技术大学

学位级别：硕士

近几十年来，信息网络的技术和规模都不断发展，海量数据应用不断增加，由单个企业搭建的普通计算集群已难以解决不断增长的海量数据给有效管理和高效计算带来的挑战，因此工业界提出将计算推至云端的思想，即云计算当前，云计算的概念... 详细信息

近几十年来，信息网络的技术和规模都不断发展，海量数据应用不断增加，由单个企业搭建的普通计算集群已难以解决不断增长的海量数据给有效管理和高效计算带来的挑战，因此工业界提出将计算推至云端的思想，即云计算当前，云计算的概念已经被企业和科研机构所广泛接受，并且在可靠性可用性等方面取得了很多成果在这些成果中，MapReduce是海量数据分布式计算中具有重要意义的解决方案之一，它的核心功能已在Hadoop分布式计算系统中得到实现Hadoop的开源特性，使得其成为研究MapReduce分布式计算的重要基础平台本文的工作即基于此平台 MapReduce分布式计算模型中的作业调度问题对系统的性能可靠性等方面具有重要的影响本文针对多作业情况下现有的作业调度算法的数据本地性差的问题，提出了一种基于本地优先的作业调度算法该方法通过新的思路解决数据本地性和系统负载均衡性相冲突的问题，在保证数据本地性的同时，通过作业级别的调度优化系统的负载均衡性能，降低了计算过程中的IO开销，从而增加系统的吞吐率和减少单个作业的执行时间本文在以HDFS为分布式存储系统的MapReduce编程模型中设计实现了基于本地优先的作业调度算法，并且在仿真环境中进行了实验验证实验结果显示，在完全实现数据本地性的机制下，系统的吞吐率得到有效提升的同时，单个作业的平均执行时间也大大减少

关键词：负载均衡数据本地性 MapReduce 云计算

分布式环境中大数据处理任务的调度方法研究及应用

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

分布式环境中大数据处理任务的调度方法研究及应用

作者：赵冰北京交通大学

学位级别：硕士

近年来,随着计算机技术和信息技术的快速发展与广泛应用,互联网的数据量呈现爆炸式增长,传统的数据处理技术已经难以满足大规模数据的需求,因此面向大规模数据的处理技术成为新的研究热点。作为一种分布式计算编程模型,MapReduce是当前... 详细信息

近年来,随着计算机技术和信息技术的快速发展与广泛应用,互联网的数据量呈现爆炸式增长,传统的数据处理技术已经难以满足大规模数据的需求,因此面向大规模数据的处理技术成为新的研究热点。作为一种分布式计算编程模型,MapReduce是当前处理大规模数据的主流技术之一,而分布式任务调度算法作为该模型的性能核心部分,已经成为当前大数据领域的研究热点。本论文对MapReduce分布式任务调度算法的理论基础进行了研究和分析,提出了基于任务分类的动态延迟调度算法(The Dynamic Delay Scheduling Based on Task Classification,即TCDDS算法),并通过仿真结果验证了该算法的有效性。在此基础上,本文又提出了基于TCDDS的深度包检测算法,该算法通过将使用TCDDS算法优化过的MapReduce并行处理技术和深度包检测技术相结合,提高了深度包检测的处理速度和性能。本论文的主要工作包括以下几个方面：首先,本论文对MapReduce的架构及其关键技术进行了研究,深入研究了MapReduce的任务调度流程,并详细分析了常用的几种任务调度算法的优缺点,例如先进先出调度算法、计算能力调度算法、公平调度算法和延迟调度算法等。其次,通过分析现有调度算法的不足,提出了基于任务分类的动态延迟调度算法(TCDDS算法)。该算法在原有的延迟调度算法的基础上,增加了使用模糊综合评价法对任务进行分类的过程,将全部的任务进行分成三类：高优先级任务、中优先级任务和低优先级任务。不同类别的任务设置不同的等待时间阈值,并且在减少时间开销和提高数据本地性这两个方面也有不同的偏重,高优先级任务力求较短的时间开销,低优先级任务力求较高的数据本地性,而中优先级任务则在二者之间取平衡。之后本论文通过仿真实验对该算法进行了验证,实验结果表明,基于任务分类的动态延迟调度算法在提高了MapReduce任务调度的数据本地性的同时,也缩短了作业的整体完成时间,有效地提高了MapReduce的整体性能。最后,本论文提出了基于TCDDS的深度包检测技术,该技术提出使用MapReduce分布式计算框架来进行深度包检测,以此来提高深度包检测的处理速度,并通过仿真实验验证了该技术的性能优于原有的深度包检测技术。

关键词： MapReduce Hadoop 延迟调度数据本地性模糊集合