检索结果-南通市图书馆

异构环境下降低慢任务抖动的调度算法——DPST

在线全文

学校读者我要写书评

暂无评论

计算机应用 2012年第7期32卷 1910-1912,1938页

作者：段翰聪李俊杰陈宬李林电子科技大学计算机科学与工程学院成都611731

为解决在异构计算环境中现有的云计算负载均衡算法存在的慢任务频繁抖动的问题,提出了一种能减低慢任务调度抖动概率的算法——DPST算法。首先通过定义一种异构计算节点中异构任务的能力度量,对执行异构任务的节点处理能力进行了归一化... 详细信息

为解决在异构计算环境中现有的云计算负载均衡算法存在的慢任务频繁抖动的问题,提出了一种能减低慢任务调度抖动概率的算法——DPST算法。首先通过定义一种异构计算节点中异构任务的能力度量,对执行异构任务的节点处理能力进行了归一化;然后通过引入节点能力预判机制,降低慢任务无效调度的次数;并且利用慢任务和慢节点双队列机制,提高了调度效率。实验结果表明,DPST相对于Hadoop平台在异构环境下任务调度的抖动次数下降了40%以上。由于有效降低了任务调度的抖动次数,在异构环境中DPST算法能明显地缩短任务的平均响应时间并提高系统的吞吐量。

关键词：云计算负载均衡慢任务异构抖动

基于云计算Hadoop异构集群的并行作业调度算法

在线全文

学校读者我要写书评

暂无评论

计算机测量与控制 2014年第6期22卷 1846-1849页

作者：郭其标吕春峰嘉应学院计算机学院广东梅州514015 郑州铁路职业技术学院软件学院郑州450052

针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,... 详细信息

针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,对Map任务和Reduce任务的各阶段执行时间进度比例进行存储和更新,为了进一步地提高调度效率,将慢任务迁移到本地化节点或离数据资源较近的物理节点上,并给了基于改进Late算法的作业调度流程;为了验证文中方法,在Hadoop集群系统上测试,设定1个为Jobtracker主控节点和7个为TaskTracker节点,实验结果表明文中方法能实现异构集群的作业调度,且与其它方法比较,具有较低的预测误差和较高的调度效率。

关键词：云计算作业调度集群资源慢任务

分布式数据处理系统中共享执行器的内存压力问题研究

在线全文

学校读者我要写书评

暂无评论

分布式数据处理系统中共享执行器的内存压力问题研究

作者：张雄华中科技大学

学位级别：硕士

随着大数据处理系统在内存计算方向上的发展,内存资源受限所导致的内存压力问题成为了研究的热点。现有的大数据处理系统为了共享中间数据和协同工作,提供了共享执行器(Executor)的工作方式,所有作业被提交到同一个系统框架中共享执行... 详细信息

随着大数据处理系统在内存计算方向上的发展,内存资源受限所导致的内存压力问题成为了研究的热点。现有的大数据处理系统为了共享中间数据和协同工作,提供了共享执行器(Executor)的工作方式,所有作业被提交到同一个系统框架中共享执行器的数据和资源。有些任务对内存需求小,而有些任务对内存的需求大,造成很大的内存压力。内存压力过大会导致数据系统花费大量开销执行垃圾回收,甚至系统崩溃。同时高内存压力会影响共享执行器中的全部任务,让原本执行时间较短的任务的执行时间变得异常,成为其所属作业中的慢任务(Straggler),拖慢作业执行时间。针对分布式数据处理系统中共享执行器的内存压力及其导致的慢任务问题,提出了一种减缓分布式数据处理系统中内存压力的调度机制,用于提高大数据处理系统的效率和稳定性。首先,调度机制分析了目前主流的大数据处理系统为用户提供的编程接口,基于编程接口对内存数据的操作特点,结合大数据处理系统对任务的管理和执行方式,提出了任务的四种粗粒度的内存占用模型,并定义内存占用增长率作为通用且统一的标准来区分四种内存占用模型和衡量任务对内存压力的影响;然后,调度机制基于内存占用增长率,在内存压力大时挂起对内存压力影响大的任务,保证对内存压力影响小的任务顺利执行完并避免成为慢任务,在有任务执行完成或者内存压力减小后及时恢复挂起的任务,防止挂起的任务出现潜在的饥饿问题,最终减少所有任务的执行时间,保证系统的时效性。减缓分布式数据处理系统中共享执行器的内存压力的调度机制集成在了Spark中。通过典型案例测试,优化后的系统中共享执行器的内存压力减小,并且可以有效增强系统的稳定性,避免慢任务的产生,并且总体的执行时间有1.3倍到2.9倍的性能提升。

关键词：内存计算慢任务内存压力任务调度共享执行器

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

异构环境下改进的LATE调度算法

计算技术与自动化 2016年第4期35卷 66-70页

作者：王少娟安徽理工大学计算机科学与工程学院安徽淮南232001

针对异构环境下LATE算法在选择备份任务及执行节点时的不足,提出一个改进的IRLATE调度算法。算法通过计算为剩余完成时间最长、最需要备份的慢任务启动备份,并将其按负载不同进行分类,结合轮询算法,将备份任务分配到负载最小且成功/负... 详细信息

针对异构环境下LATE算法在选择备份任务及执行节点时的不足,提出一个改进的IRLATE调度算法。算法通过计算为剩余完成时间最长、最需要备份的慢任务启动备份,并将其按负载不同进行分类,结合轮询算法,将备份任务分配到负载最小且成功/负载比高的节点上执行。实验结果表明,该算法与LATE算法比较,有效的将作业完成时间缩短了30%左右,提高了执行效率,进而促进系统的负载均衡。

关键词：异构环境 LATE 调度算法慢任务负载均衡