检索结果-南通市图书馆

国防科技大学学报 2022年第5期44卷 71-79页

作者：林伟伟石方李毓睿刘发贵刘捷彭绍亮王子骏华南理工大学计算机科学与工程学院广东广州510006 鹏程实验室广东深圳518066 湖南大学信息科学与工程学院湖南长沙410082 克莱姆森大学计算学院美国克莱姆森29634

为了降低混部云失败批处理作业的风险,使用K-means聚类算法将批处理作业分为四类,在分类的基础上提出了二层嵌套分类模型(two-layer nested classification model,TLNM),实现了基于TLNM的预测算法。基于Ali Trace 2018数据集上的实验结... 详细信息

为了降低混部云失败批处理作业的风险,使用K-means聚类算法将批处理作业分为四类,在分类的基础上提出了二层嵌套分类模型(two-layer nested classification model,TLNM),实现了基于TLNM的预测算法。基于Ali Trace 2018数据集上的实验结果表明,该算法的接受者操作特性(receiver operating characteristic,ROC)曲线明显优于其他常用分类器,ROC曲线下面积(即AUC)可以达到0.978,表明该算法具有良好的分类性能。同时召回率可以达到0.951,通过混淆矩阵可以看出TLNM算法能够准确预测出执行失败的批处理作业。

关键词：云计算混部技术作业失败预测资源利用率

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向混部场景的Spark作业调度策略研究

面向混部场景的Spark作业调度策略研究

引用

作者：李硕北京工业大学

学位级别：硕士

数据中心混部技术是指将以在线服务为代表的延迟敏感型应用与以数据吞吐率为目标的批处理应用混合部署于数据中心相同的资源平台,通过批处理应用充分利用延迟敏感性应用请求波动导致的资源碎片,提升数据中心的资源利用率。Spark是混部... 详细信息

数据中心混部技术是指将以在线服务为代表的延迟敏感型应用与以数据吞吐率为目标的批处理应用混合部署于数据中心相同的资源平台,通过批处理应用充分利用延迟敏感性应用请求波动导致的资源碎片,提升数据中心的资源利用率。Spark是混部场景下,批处理应用的主要运行支撑平台。如何在资源动态波动的背景下,通过合理的作业调度,在保障延迟敏感性应用服务质量的前提下,提升Spark批处理应用的执行效率,是数据中心混部场景面临的主要技术挑战。针对上述问题,本文提出了一种面向混部场景的Spark作业调度策略,在保障延迟敏感型应用服务质量的前提下,最大化Spark批处理应用达到软实时要求的比例及其资源利用率。本文的主要贡献总结如下:(1)量化分析了Spark批处理应用执行时间的可分类的特征。基于具有代表性的Spark批处理应用,量化分析输入数据规模和资源配置对应用执行时间的影响,分析结果表明,在相同的输入数据规模与资源量配置下,Spark批处理应用间的执行时间具有明显的差异;且在不同的输入数据规模或资源配置情况下,Spark批处理应用执行时间的分类具有稳定性。由此,验证了Spark批处理应用执行时间具有可分类性。(2)提出了一种考虑应用特征差异的Spark批处理应用执行时间预测方法。该方法首先利用斯皮尔曼相关系数和均值漂移聚类算法(Mean Shift)对Spark批处理应用执行时间进行分类;针对每一类Spark批处理应用,采用主成分分析法(PCA)和梯度提升决策树(GBDT)算法对Spark批处理应用执行时间进行预测。最后当即席Spark批处理应用到达之后,先判断其所属应用类别继而使用相应的预测模型来预测其执行时间。实验结果表明,与采用统一预测模型相比,本文提出的基于分类的Spark批处理应用执行时间预测模型可使得预测结果的均方根误差和平均绝对百分误差平均降低32.1%和33.9%。(3)提出了一种面向混部场景的Spark作业调度策略。该策略基于Spark批处理应用执行时间预测结果,以最大化Spark批处理应用达到软实时要求的比例和资源利用率为目标,利用二次搜索粒子群(TSPSO)算法优化设计面向混部场景的Spark批处理作业调度策略。实验结果表明,与Spark常用的FIFO、Fair和DRF作业调度策略相比,本文提出的调度策略可使得Spark批处理应用达到软实时要求的比例、内存资源利用率和CPU资源利用率平均高出25%、32.5%和23.9%。

关键词： Spark 混部技术作业调度分类预测

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：