检索结果-南通市图书馆

计算机学报 2020年第6期43卷 1103-1122页

作者：葛浙奉王济伟蒋从锋张纪林俞俊林江彬闫龙川任祖杰万健杭州电子科技大学计算机学院杭州310018 阿里云计算有限公司杭州311121 国网电力信息通信有限公司北京100053 之江实验室杭州311121 浙江科技学院信息与电子工程学院杭州310023

现代互联网数据中心的规模随应用服务需求的增长而越来越大,但数据中心资源利用率低已逐步成为云计算进一步发展的制约因素.为了提高数据中心的资源利用率,云服务提供商将在线服务和离线批处理作业混合部署到同一个生产集群中.但混合部... 详细信息

现代互联网数据中心的规模随应用服务需求的增长而越来越大,但数据中心资源利用率低已逐步成为云计算进一步发展的制约因素.为了提高数据中心的资源利用率,云服务提供商将在线服务和离线批处理作业混合部署到同一个生产集群中.但混合部署增加了数据中心管理系统复杂性,对数据中心系统调度和工作负载分配提出了新的挑战.本文从资源使用角度出发,统计分析了阿里巴巴最新发布的包含4034台机器长达8天的混部集群日志数据集,刻画了机器对离线批处理任务与在线服务容器资源分配策略,以及离线批处理作业与在线服务之间的相互干扰.并根据不同的负载特征,以多种方式对机器进行分类,研究机器分工对集群效率提升的意义.通过分析阿里巴巴集群日志数据集,我们发现:(1)集群中43.271%的机器存在容器对CPU核心“超订”现象,而内存不存在“超订”现象;(2)集群中存在“备用节点”,确保集群出现故障时,任务能及时被转移到“备用节点”继续执行;(3)延迟敏感的在线任务的CPU利用率较低,但对内存资源的需求比较高,而离线批处理作业的CPU利用率较高,在线任务和离线任务的资源占用互补;(4)混合部署显著提高了CPU利用率,而内存可能是限制集群性能的主要因素;(5)集群中容器分布存在不平衡性;(6)离线任务的混合部署导致容器内存利用率有所下降,且当在线服务资源需求激增时,调度器缺少一定的容错性和健壮性;(7)离线任务如何部署与容器当前性能紧密相关,尤其是容器CPI指标,与离线任务部署呈现显著相关性.本文对集群负载特性、资源使用及离线和在线任务相互干扰进行研究,有助于其他研究人员对集群系统调度和负载分配分析优化,以提高现代数据中心的资源利用率.

关键词：混部集群资源利用负载特性在线服务批处理作业调度服务质量数据中心

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

面向混部集群的性能干扰预测与调度优化研究

面向混部集群的性能干扰预测与调度优化研究

引用

作者：李毓睿华南理工大学

学位级别：硕士

混部（colocation）是使用离线作业填充以在线作业为主的集群空闲资源的技术,可以解决现代数据中心的资源利用率普遍较低的问题。然而,混部技术的应用也带来了许多问题,例如不同类型作业间共享资源导致的性能干扰问题,本文称之为混部干... 详细信息

混部（colocation）是使用离线作业填充以在线作业为主的集群空闲资源的技术,可以解决现代数据中心的资源利用率普遍较低的问题。然而,混部技术的应用也带来了许多问题,例如不同类型作业间共享资源导致的性能干扰问题,本文称之为混部干扰。混部干扰将造成不可忽视的影响,为此,本文提出了一种预测混部集群中的混部干扰的方法,并通过调度算法来降低混部干扰带来的影响。本文的主要工作如下:（1）本文首先对阿里巴巴混部集群的数据集进行了数据分析,发现重调度现象会造成混部集群的性能波动与资源浪费,并且直接影响作业的运行、响应时间,与混部干扰有很强的相关性。本文将重调度的发生与否作为混部干扰的指标,然后基于重调度发生时的数据,制作了描述混部干扰发生时的资源特征的数据集,本文把这些数据集称为干扰画像。最后,本文提出了一个基于干扰画像和Light GBM的混部干扰预测方法（IPLPF）,IPLPF首先通过SMOTE-Tomek混合采样和重要特征选择改进训练数据集,然后基于贝叶斯优化选择Light GBM的训练参数,最后通过Light GBM训练出的模型进行预测。实验表明,IPLPF训练出的预测模型比直接使用Light GBM训练出的预测模型准确率更高,并且与其他机器学习算法训练出的预测模型相比,IPLPF训练出的混部干扰预测模型在预测重调度的准确率上最高可以达到86.3%。且混部干扰预测模型的ROC曲线明显优于其他预测模型,这说明混部干扰预测模型具有更好的预测效果。（2）为了减少混部干扰对混部集群的影响,本文面向混部集群中的离线作业进行了调度优化,提出了基于混部干扰预测模型的调度算法Co IP,Co IP由离线作业调度算法和离线作业重调度算法组成。Co IP的核心思想是基于混部干扰预测模型对可能到来的混部干扰进行预测,并根据预测的结果进行调度判断,尽可能最小化目标服务器上因混部干扰导致的重调度次数,从而提高离线作业的吞吐率与集群的资源效率。为了对Co IP调度算法进行功能与数据上的契合,本文还提出了一个基于Co IP的调度系统。最后,本文基于Colocation Sim（一个基于Cloud Sim的混部集群调度仿真器）仿真了阿里巴巴混部集群的实验环境,所有涉及混部环境下的调度实验都在该仿真环境上进行。实验结果表明:与其他调度算法相比,Co IP调度算法在CPU资源效率和内存资源效率上最多分别提高39.53%和39.24%,且Co IP调度算法在不同干扰强度和离线作业负载环境下均具有较高的吞吐率和抗干扰能力,将重调度次数最多降低了86%。

关键词：云计算混部集群性能干扰调度算法

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：