任务感知Yarn资源调度器的研究与实现

作     者：陈良章 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：廖建新

授予年度：2018年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：任务感知 时间需求 自适应 资源调度 YARN ARSF 

摘      要：通用计算资源管理框架Hadoop YARN(Yet Another Resource Negotiator)如今被成功地应用到越来越多的业务场景中。YARN的三种资源调度器不具有任务感知功能,无法根据任务的具体需求对任务进行资源调度。海量数据分布式计算时,用户希望在预期时间内完成其应用程序。YARN平台根据经验判断期望时间内完成某个应用需要的集群节点数量。然而,该方法无法确保正确性,如果判断需求的资源过少,则不能在期望的时间内运行完自己的应用,反之,则会造成资源的浪费。此外,同时存在多个具有时间需求的应用,YARN无法判断所需资源数量。为了解决以上这两个问题,需要设计一种资源调度器感知到任务需求。本文通过对常用并行计算应用MapReduce的特性进行研究,并在YARN的基础上进行二次开发,做出了具有任务感知能力的YARN资源调度器,该调度器能感知到任务的时间需求,并根据时间需求对资源进行调度以尽可能的满足所有应用的时间需求。同时结合了云平台资源伸缩的特点,搭建了一个ARSF(Adaptive Resource scheduler Platform,自适应资源调度平台)系统。此外,ARSF判断当前集群资源是否能够满足所有应用的时间需求,不能满足时则向云平台申请资源加入到集群之中。本文通过实验对ARSF的功能和性能进行了测试,验证了 ARSF可以在集群运行时水平扩展集群的规模。并将ARSF与普通的YARN平台以及采用了另一种应用感知资源调度算法的ARIA框架在满足应用时间需求这一指标上进行了对比,实验结果显示ARSF平台在满足应用时间需求这一点上明显优于普通YARN平台,且优于ARIA框架。