基于特征重要性的深度学习自动调度优化研究

作     者：杨恒 刘勤让 范旺 裴雪 魏帅 王轩 YANG Heng;LIU Qinrang;FAN Wang;PEI Xue;WEI Shuai;WANG Xuan

作者机构：郑州大学网络空间安全学院郑州450003 信息工程大学信息技术研究所郑州450002 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2024年第51卷第7期

页      面：22-28页

学科分类：08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划重点专项(2022YFB4401401) 嵩山实验室项目(纳入河南省重大科技专项管理系)(221100211100-01) 

主　　题：AI编译器 自动调度 xgboost 特征重要性 深度学习 

摘      要：随着深度学习和硬件架构的快速发展,模型和硬件架构的多样性导致采用手工优化方式实现深度学习模型的高性能部署面临严峻的挑战,因此现有的AI编译器框架通常采用自动调度的方法来实现这一过程。但是已有的TVM自动调度优化方法中存在着代价模型数据集不平衡以及调度时间过长的问题,为了解决这些问题,提出了一种基于特征重要性的自动调度优化方法。首先采用xgboost算法对特征重要性进行分析,然后基于重要性系数降低特征维度并对数据标签值进行重分配,以实现提高代价模型精度和优化自动调度效率的目的。实验结果表明,应用所提优化方法,使3种深度学习模型的自动调度时间缩短了9.7%~17.2%,推理时间最多缩短了15%。