资源配置自主优化的容器云平台的设计与实现

作     者：刘志心 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：王晶

授予年度：2022年

学科分类：08[工学] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 

主      题：Kubernetes 云平台 资源配置 公平分配算法 混合预测模型 

摘      要：随着云原生技术的迅速崛起,企业拥抱容器化的趋势将持续进行,在面临管理容器所带来的挑战时,Kubernetes这款强大的容器管理开源系统以其可移动、可扩展、自修复等优点迅速受到越来越多企业的青睐。为了让企业设施资源得到充分利用,保证集群资源配置合理,解决员工应用部署困难、工作效率低等问题,利用企业现有基础设施,基于Kubernetes设计并实现了一个资源配置自主优化的容器云平台,为企业提供了一个安全、可靠、便捷的云服务平台。在资源共享的容器云平台中,如何高效合理地使用资源是值得重视的问题。首先,对集群中多任务队列分配资源不公的现状进行了分析,针对Kubernetes调度器默认排序算法、DRF主导资源公平算法及其相关扩展算法的不足,提出了有权重的多主导资源公平算法WMDRF,该算法考虑了多维度资源,具有帕累托最优、策略证明和无嫉妒的公平特性。经过实验分析,在相同资源限制下WMDRF能比DRF启动更多的任务,且用户间任务资源需求量相差越大表现越好。其次,针对集群应用CPU资源利用率不高这一问题,分析了Kubernetes自动伸缩的不足,结合不同预测方法的优缺点设计了基于STL时间序列分解的ARIMA和Holt混合预测模型,利用该模型预测应用的CPU资源使用量。经过实验分析,混合模型具有良好的稳定性、预测精度及预测速度,可使91.01%的预测结果误差控制在5%以内,平均预测误差相比于ARIMA、Holt-Winters和ARIMA+三指平滑混合方法分别降低了 36.08%、41.84%和32.05%,预测速度比ARIMA 快 5.87%。进行需求分析与概要设计后,对资源配置自主优化的容器云平台的各个模块中的功能进行了详细的设计与实现。包括用户注册、节点控制、应用安装等基本功能以及资源配置自主优化功能。在用户管理模块中,针对用户资源限额配置不均衡的问题,提出了资源动态分配机制,根据用户资源使用强度动态控制资源限额,基于该机制设计并实现了用户资源限额自主优化功能;在集群管理模块中,基于WMDRF设计并实现了集群中队列任务资源分配自主优化功能;在应用管理模块中,基于混合预测算法设计并实现了应用资源限制自主优化功能。最后,对容器云平台各个模块的功能在真实集群环境中进行了测试分析,各种功能的运行效果均符合预期,并且不同模块中的资源配置自主优化功能也都达到了设计目的:用户资源限额优化功能令平台用户的资源限额分配更加合理均衡;任务资源分配优化功能让有限的资源在不同用户任务间得到公平高效分配;应用资源限制优化功能使得应用的CPU利用率平均提高18.08%。