基于Kubernetes的异构任务调度方法

作     者：朱亚州 杜平川 柴志雷 

作者机构：江南大学人工智能与计算机学院 江苏省模式识别与计算机智能工程实验室 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2024年

学科分类：08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 

基　　金：国家自然科学基金(61972180) 江苏省模式识别与计算智能工程实验室项目 

主　　题：异构任务 任务调度 Kubernetes 负载均衡 多维度资源 逼近理想解法 

摘      要：Kubernetes作为容器编排的主流工具，可支持自动部署、服务发现以及负载均衡，且具有高可用、高效能的特点。然而，其采用的最佳适应算法或最小负裁法等调度策略忽略了节点的异构性和能的差异性。此外，Kubernetes工具仅考虑CPU资源和内存资源且预先设置统一权重机制，容易导致负载不均衡、性能下降以及无法满足精细化调度等问题。针对现有问题，本文提出了一种基于多维度资源的异构任务调度算法A-KCSS，该算法基于集群的异构计算资源，增加磁盘IO、网络IO负载以及GPU资源作为评价指标进行过滤和筛选，更全面地考虑了Node的异构性。此外，本文引入一种基于多维度资源因素的权重计算模型，依据待调度任务的资源需求，计算待调度任务各维度资源因素的权重值，结合集群Node的实时资源利用率计算出每一个Node的评分，依据评分进行优先级排序，并选择优先级最高的Node进行调度。经实验验证，在Kubernetes集群上测试了A-KCSS调度算法的性能，该算法与Kubernetes默认的调度算法以及KCSS算法相比，平均响应时间分别降低10%和4%、吞量分别提高30%和15%、可用性分别提高40%和30%、负载均分别提高23%和18%，提高了集群的整体性能。