自动语音识别模型压缩算法综述

作     者：时小虎 袁宇平 吕贵林 常志勇 邹元君 SHI Xiaohu;YUAN Yuping;L Guilin;CHANG Zhiyong;ZOU Yuanjun

作者机构：吉林大学计算机科学与技术学院长春130012 吉林大学大数据和网络管理中心长春130012 中国第一汽车集团有限公司研发总院智能网联开发院长春130011 吉林大学生物与农业工程学院长春130022 长春中医药大学医药信息学院长春130117 

出 版 物：《吉林大学学报（理学版）》 (Journal of Jilin University:Science Edition)

年 卷 期：2024年第62卷第1期

页      面：122-131页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(批准号:62272192) 吉林省科技发展计划项目(批准号:20210201080GX) 吉林省发改委项目(批准号:2021C044-1) 吉林省教育厅科研基金(批准号:JJKH20200871KJ) 

主　　题：语音识别 模型压缩 知识蒸馏 模型量化 低秩分解 网络剪枝 参数共享 

摘      要：随着深度学习技术的发展,自动语音识别任务模型的参数数量越来越庞大,使得模型的计算开销、存储需求和功耗花费逐渐增加,难以在资源受限设备上部署.因此对基于深度学习的自动语音识别模型进行压缩,在降低模型大小的同时尽量保持原有性能具有重要价值.针对上述问题,全面综述了近年来该领域的主要工作,将其归纳为知识蒸馏、模型量化、低秩分解、网络剪枝、参数共享以及组合模型几类方法,并进行了系统综述,为模型在资源受限设备的部署提供可选的解决方案.