异构环境下Spark动态资源调度策略研究

作     者：吴仁彪 刘备 贾云飞 WU Renbiao;LIU Bei;JIA Yunfei

作者机构：中国民航大学天津市智能信号与图像处理重点实验室天津300300 

出 版 物：《中国民航大学学报》 (Journal of Civil Aviation University of China)

年 卷 期：2021年第39卷第6期

页      面：14-19,27页

学科分类：08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：Spark 异构集群 负载均衡 资源调度 Standalone 

摘      要：针对Spark未考虑异构集群节点间的性能差异,导致多作业场景下节点负载不均衡、作业执行效率低的问题,提出一种基于异构集群节点负载的Spark动态资源调度策略。根据节点静态负载和运行时的动态负载信息建立异构集群节点负载评价指标,获取集群运行时节点的实时负载;改进Spark默认资源管理器Standalone在资源分配时的节点排序规则;最终实现基于异构集群节点负载的动态资源调度策略。实验结果表明,与默认调度策略相比,该策略评价指标适用性更好,有效缓解了集群的负载失衡问题,提高了作业执行效率。