一种面向分布式深度学习系统的资源及批尺寸协同配置方法

作     者：梁毅 丁振兴 赵昱 刘明洁 潘勇 金翊 LIANG Yi;DING Zhen-Xing;ZHAO Yu;LIU Ming-Jie;PAN Yong;JIN Yi

作者机构：北京工业大学信息学部北京100124 北京机电工程研究所北京100074 北京市计算中心北京100094 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2022年第45卷第2期

页      面：302-316页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：北京市自然科学基金面上项目(4192007) 国家重点研发计划(2017YFC0803300)资助 

主　　题：分布式深度学习系统 模型训练 批尺寸 资源配置 资源成本 

摘      要：如何在受限时间内满足深度学习模型的训练精度需求并最小化资源成本是分布式深度学习系统面临的一大挑战.资源和批尺寸超参数配置是优化模型训练精度及资源成本的主要方法.既有工作分别从计算效率和训练精度的角度,对资源及批尺寸超参数进行独立配置.然而,两类配置对于模型训练精度及资源成本的影响具有复杂的依赖关系,既有独立配置方法难以同时达到满足模型训练精度需求及资源成本最小化的目标.针对上述问题,本文提出分布式深度学习系统资源-批尺寸协同优化配置方法.该方法首先依据资源配置和批尺寸超参数配置与模型训练时间和训练精度间的单调函数关系,选取保序回归理论工具,分别建立模型单轮完整训练时间和训练最终精度预测模型;然后协同使用上述模型,以资源成本最小化为目标,求解满足模型训练精度需求的资源和批尺寸优化配置解.本文基于典型分布式深度学习系统TensorFlow对所提出方法进行性能评测.实验结果表明,与既有基于自动化的资源或批尺寸独立配置方法相比,本文提出的协同配置方法最大节约资源成本26.89%.