在线数据科学实验云服务平台的设计与实现

作     者：万利航 

作者单位：贵州大学 

学位级别：硕士

导师姓名：李晖

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 

主      题：数据科学实验 云平台 SaaS模式 任务并发调度 进化强化学习 

摘      要：随着数据科学在各个领域的广泛应用,数据科学实验成为高校教学和科研的重要组成部分,但是传统的实验环境存在诸多不便、低效、不可扩展等问题,因此本文旨在探索如何构建一个以Saa S模式为高校提供在线服务的数据科学实验云平台,并针对平台在高并发、大负载场景下面临的性能问题,提出一种有效的平台性能优化方法。本文的主要贡献和创新如下:(1)分析高校数据科学实验的需求和特点,设计并实现了一个易用、可扩展的云平台,采用Saa S模式为高校提供在线数据科学实验环境。该平台基于Kubernetes技术,利用GPU隔离技术,实现云平台的多租户模式,保证云平台的资源隔离和安全性。并针对数据科学实验平台提出并实现了平台的微基准测试集,为后续性能评估提供了依据。(2)为了解决高并发、大负载引起的云平台性能问题,提出了一种数据科学实验任务并发调度方法,称为D2SAC-TS。该方法结合了差分进化策略(DE)与离散动作空间的SAC算法(DSAC),利用强化学习和进化优化的思想,自适应地优化调度策略。该方法首先根据平台的任务特点和计算集群的负载状态等特征,建立数学模型来描述调度问题,定义相关的指标和目标函数。然后根据调度问题的模型,确定状态空间、动作空间、奖励函数、状态转移函数等要素,采用D2SAC-TS模型进行学习和优化。最终将训练好的模型与平台调度模块结合,实现平台并发任务的自动调度,提升平台服务质量和性能。(3)对本文的主要工作进行测试评估和实验分析。首先对数据科学实验云平台的各个功能模块进行功能测试,验证了平台的可用性和稳定性。然后基于平台的微基准进行任务并发实验测试,从任务平均等待时间、任务平均执行时间、任务吞吐量等方面对比了本文提出的D2SAC-TS算法与其他传统型、元启发式、强化学习方向的任务并发调度算法的性能差异,结果表明D2SAC-TS算法在综合能力上优于其他算法,具有较强的适应性和鲁棒性。