深度神经网络的自适应联合压缩方法

作     者：姚博文 彭喜元 于希明 刘连胜 彭宇 Yao Bowen;Peng Xiyuan;Yu Ximing;Liu Liansheng;Peng Yu

作者机构：哈尔滨工业大学测控工程系哈尔滨150080 

出 版 物：《仪器仪表学报》 (Chinese Journal of Scientific Instrument)

年 卷 期：2023年第44卷第5期

页      面：21-32页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 080401[工学-精密仪器及机械] 0804[工学-仪器科学与技术] 0703[理学-化学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 081102[工学-检测技术与自动化装置] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主　　题：深度神经网络 模型压缩 联合优化 稀疏化 量化 

摘      要：现有模式单一且固定的深度神经网络压缩方法受限于精度损失,而难以对模型进行充分压缩,致使压缩后模型在实际部署时仍需消耗大量成本高昂且容量有限的存储资源,对其在边缘端的实际应用造成严峻挑战。针对该问题,本文提出一种可同时对模型连接结构和权重位宽进行自适应联合优化的压缩方法。与已有组合式压缩不同,本文充分融合稀疏化和量化方法进行联合压缩训练,从而全面降低模型规模;采用层级自适应的稀疏度和数据表征位宽,缓解因固定压缩比导致的精度次优化问题。通过使用本文提出方法对VGG、ResNet和MobileNet在CIFAR-10数据集上的实验表明,精度损失分别为1.3%、2.4%和0.9%时,参数压缩率达到了143.0×、151.6×和19.7×;与12种典型压缩方法相比,模型存储资源的消耗降低了15.3×~148.5×。此外,在自建的遥感图像数据集上,该方法仍能在达到最高284.2×压缩率的同时保证精度损失不超过1.2%。