结合算子选择的卷积神经网络显存优化算法
Memory Optimization Algorithm for Convolutional Neural Networks with Operator Selection作者机构：吉林大学计算机科学与技术学院长春130012
出 版 物：《吉林大学学报（理学版）》 (Journal of Jilin University:Science Edition)
年 卷 期：2024年第62卷第2期
页 面：302-310页
学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）]
基 金：吉林省自然科学基金面上项目(批准号:20230101062JC)
摘 要：针对卷积神经网络训练中自动算子选择算法在较大的显存压力下性能下降的问题,将卸载、重计算与卷积算子选择统一建模,提出一种智能算子选择算法。该算法权衡卸载和重计算引入的时间开销与更快的卷积算子节省的时间,寻找卸载、重计算和卷积算子选择的调度,解决了自动算子选择算法性能下降的问题.实验结果表明,该智能算子选择算法比重计算-自动算子选择算法缩短了13.53%训练时间,比已有的卸载/重计算-自动算子选择算法缩短了4.36%的训练时间.
维普期刊数据库
同方期刊数据库