检索结果-南通市图书馆

检索条件"主题词=静态启发式调度"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

分布式流计算平台上任务调度的关键技术研究

分布式流计算平台上任务调度的关键技术研究

引用

作者：张世鹏西安电子科技大学

学位级别：硕士

近几年来,数据处理技术飞速地发展,一些基于数据分析的应用技术也随之大量涌现。并且伴随着各领域中信息采集技术的不断更新,出现了大量实时的非结构化数据,这些实时产生的数据像流水一样进入数据处理系统。如何实时地抓取数据流中有价... 详细信息

近几年来,数据处理技术飞速地发展,一些基于数据分析的应用技术也随之大量涌现。并且伴随着各领域中信息采集技术的不断更新,出现了大量实时的非结构化数据,这些实时产生的数据像流水一样进入数据处理系统。如何实时地抓取数据流中有价值的信息,并实时地进行精确计算、得出相应结论至关重要。传统的分布式处理模式不可能实现上述需求,所以,一种全新的分布式流计算处理模式应运而生,这种处理模式以其良好的扩展性、灵活性、易用性受到业界的欢迎。本文设计了一套完整的流计算处理平台,在这个平台上用户可以完全避免集群搭建、平台运维、通信实现的繁琐工作,大大缩短了开发周期。在分布式流计算系统（如云计算等）上,多任务需要同时运行复杂的计算,通常把这些任务分配到多个处理机上去处理,这个过程被称为任务调度。采用不同的任务调度算法对相同的输入数据流进行处理,最终的性能差异非常大。通常在传统的处理模式中,其输入大多都是静态数据,所以任务的执行时间是可预知的。在均衡处理机数目受限的条件下,只要给定一组DAG,经典的HEFT算法就能得到一组高效的调度方案;但是实时流计算平台中的输入是源源不断的数据流,并且数据量的大小是不确定的,最终导致任务的执行时间是不确定的。这也就直接导致了HEFT算法在实际应用环境中,实验结果与预期结果差距较大。在分布式流计算系统里进行工作流任务调度时,如何解决单个任务执行时间的不确定性问题至关重要。由于这种不确定性的存在,静态的工作流任务调度方法将不再可用。因此本文提出一种基于蒙特卡洛的工作流任务调度方法,该方法建立在一种经典的启发式静态工作流任务调度方法（HEFT）基础之上,通过运用一种随机数生成算法,在一定约束条件下大量生成任务执行时间,并结合正态分布、均匀分布模型对任务执行时间进行建模,从而确保了 HEFT算法的可用性;利用HEFT算法,结合随机的任务执行时间,就可以生成大量的调度方案,再从这些调度方案中选出最优的调度方案,并作为最终的输出方案。整个过程通过对随机数生成机制、完工时间阈值的确定、各阶段重复次数的限定、性能评估标准等关键技术的研究,确保了此算法的高效性。通过把这一套全新的任务调度方法应用到“流水行云”平台中,并经过大量的实验以及性能测试,结果表明:本文提出的方法不仅大大缩短了任务的调度时间,显著提升了平台性能,而且此方法还具有非常强的通用性。

关键词：流计算平台任务调度静态启发式调度蒙特卡洛方法

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：