检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

一种短作业环境下的延迟调度算法

西安交通大学学报 2015年第2期49卷 1-5,54页

作者：刘强董小社朱正东王寅峰西安交通大学电子与信息工程学院西安710049 深圳职业技术学院广东深圳518172

针对短作业场景下YARN平台中延迟调度算法基于静态时间等待阈值,不能进行合理等待的问题,提出了一种云计算环境中基于本地性资源预测的延迟调度算法(locality resource forecast delay scheduling,LRFD)。该算法综合考虑短作业和资源可... 详细信息

针对短作业场景下YARN平台中延迟调度算法基于静态时间等待阈值,不能进行合理等待的问题,提出了一种云计算环境中基于本地性资源预测的延迟调度算法(locality resource forecast delay scheduling,LRFD)。该算法综合考虑短作业和资源可用性动态变化的特点进行任务调度,根据节点上任务的完成进度和作业未处理数据在集群中的分布状况预估作业的本地性资源信息,从而判断是否需要进行等待以提高系统性能,实现了对本地性资源的合理等待。实验结果表明:在短作业场景下,LRFD算法的性能和稳定性均优于已有的延迟算法,作业性能平均提升约10%,最大加速比可达3倍以上。

关键词：云计算延迟调度算法短作业

在线全文

学校读者我要写书评

暂无评论

先来先服务与短作业优先调度算法的比较

信息与电脑 2019年第15期31卷 79-80,84页

作者：邰丽辽宁理工学院

为了打破处理机等资源限制,通过不同的调度算法,按照一定规律,允许不同的进程占用处理机,分配资源。依据系统资源分配策略分配资源的算法是调度算法。调度算法也可用于进程调度和作业调度。当系统性能和系统目标不同时,要选择不同的调... 详细信息

为了打破处理机等资源限制,通过不同的调度算法,按照一定规律,允许不同的进程占用处理机,分配资源。依据系统资源分配策略分配资源的算法是调度算法。调度算法也可用于进程调度和作业调度。当系统性能和系统目标不同时,要选择不同的调度算法。基于此,针对调度算法中最简单的两种算法——先来先服务调度算法和短作业优先调度算法,分别介绍并比较。

关键词：先来先服务短作业调度算法

电力用电信息采集系统中的MapReduce作业性能优化研究

在线全文

学校读者我要写书评

暂无评论

电力用电信息采集系统中的MapReduce作业性能优化研究

作者：张开会山东大学

学位级别：硕士

电力用电信息采集系统每天执行大量的计算服务,比如采集成功率、终端在线率、负控终端可用率、表码上传成功率、采集调试占比、线损合格率、采集数据完整度等服务,这些计算服务涉及的数量较大、有较高的实效要求,而且部分计算服务存在... 详细信息

电力用电信息采集系统每天执行大量的计算服务,比如采集成功率、终端在线率、负控终端可用率、表码上传成功率、采集调试占比、线损合格率、采集数据完整度等服务,这些计算服务涉及的数量较大、有较高的实效要求,而且部分计算服务存在先后的依赖关系。Hadoop是主流的分析大规模数据的并行计算框架,因此Hadoop是用电信息采集系统的有效的解决方案。然而,Hadoop在电力用电信息采集系统应用的过程中存在一些问题。Hadoop是为了处理海量规模的数据和运行批处理作业而设计的,但在电力用电信息采集系统中,Hadoop频繁的运行大量的短作业,导致集群频繁的申请、释放资源,从而造成了集群资源的浪费。用电信息采集系统是部署在异构环境中,由于计算节点异常、负载过高或者数据倾斜等原因导致部分任务的运行时间是同类型任务运行时间的数倍(即出现落后任务),造成作业运行时间延长。电力用电信息采集系统中的线损合格率、表码上传成功率等作业的计算依赖基础档案等计算作业,基础档案数据的计算必须在指定的截止时间内计算完成,而Hadoop不支持具有时间约束的作业调度。上述的这些问题和不足造成了部分作业运行比较低效。本文从Hadoop的计算框架、作业的执行流程以及任务的调度机制方面解决集群存在的短作业问题、落后任务问题以及具有时间约束的作业调度问题,本文的主要工作如下。(1)本文从计算框架、资源申请释放过程、任务执行过程以及任务调度方面分析了Hadoop运行短作业的问题和产生原因。为了预估任务的运行时间,本文基于任务子阶段的耗时建立了任务性能模型。对于短作业问题,本文提出了基于资源重用的机制优化短作业的执行过程,提高短作业的执行效率。(2)本文基于任务的进度率建立了落后任务识别模型,结合任务的进度、任务使用的资源数量等因素对不同的任务使用差异化的落后任务解决策略。同时,本文给出了基于节点性能的任务调度算法,实现了作业之间公平共享集群资源。(3)对于具有时间约束的作业,本文使用分治策略将作业分解的任务划分到具体的时间段内完成。如果某个阶段的任务在指定的时间内未完成,本文采用抢占策略获取资源并执行未完成的任务。对上述问题优化后,将电力用电信息采集系统部署到32个节点上,线损合格率、采集成功率、终端在线率等计算服务作业的运行时间从原来的60-120分钟缩短到20-40分钟。

关键词： MapReduce 短作业落后任务任务调度性能优化

单元作业整合:为学生发挥创造力提供时间与空间

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

教学月刊（小学版）（数学） 2022年第1期 47-50页

作者：袁晓萍浙江省杭州市学军小学 310012

单元作业整合是指以结构化形态构建作业体系,呈现具有整体性的单元作业。它可以破解当前作业内容割裂、作业形式单一的困局。进行单元作业整合设计时,教师需要从点状、割裂的课时作业视角转向整体单元视角,以统整理念整合设计。单元作... 详细信息

单元作业整合是指以结构化形态构建作业体系,呈现具有整体性的单元作业。它可以破解当前作业内容割裂、作业形式单一的困局。进行单元作业整合设计时,教师需要从点状、割裂的课时作业视角转向整体单元视角,以统整理念整合设计。单元作业整合有利于加强知识勾连、加强内容整合、控制作业数量、提升作业品质。它能让学生在每一次作业中都有所收获。

关键词：单元整合长作业短作业