融合多策略的神经网络模型压缩算法研究

作     者：甄成辉 

作者单位：华侨大学 

学位级别：硕士

导师姓名：张维纬

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：深度学习 模型压缩 正则化 模型剪枝 知识蒸馏 

摘      要：随着计算机算力相关的硬件设备的快速发展,以深度学习技术为代表的人工智能在视觉、语音和文本等领域展现出强大的能力,并在在图像分类、目标检测、图像分割和风格迁移等计算机视觉任务中取得了优异的性能。然而,随着模型的更新换代,高参数量、高内存占用和高计算量成为深度学习模型的另一个特征。这些特征对于资源受限的终端设备并不友好。同时,应用的时延需求和设备的成本预算都对模型部署提出了要求,即在不损害模型性能的前提下,大幅降低模型的计算成本和内存消耗。为了解决这个问题,学术界和工业界将目光投向深度学习模型的压缩和加速。具体来说,本文针对限制滤波器剪枝效果的实际问题,提出了多策略的模型压缩方法以实现更好的压缩性能,进而解决模型部署难题。本文提出的主要工作和贡献如下:第一,本文提出了一种结合模型剪枝和神经架构搜索的多策略模型压缩方案。为了解决模型剪枝中模型拓扑结构规划问题,本文提出了一种无数据依赖且理论上合理的结构评估指标和整体评估指标,并借助神经架构搜索来优化与模型拓扑结构相关的超参数。这些评估指标仅依赖模型参数信息进行评估,从而有效地减少了评估时间。该方案具有双重结构和整体评估、评估无数据依赖和一次性微调等特点。实验结果表明,在相同FLOPs(floating point operations)的要求下,该方案能够获得更具竞争力的模型精度。第二,本文提出了一种模型剪枝和知识蒸馏相结合的多策略模型压缩方案。为了解决滤波器剪枝中的精度恢复问题,本文借助教师模型在预测精度和参数约束方面的优势,通过知识蒸馏来恢复模型性能。在分析了“剪枝获得模型,蒸馏替换微调的流水线问题后,本文对方法和模型进行了解耦,通过递减的方式在多个模型间层层传递知识,以更具操作性的模块实现流水线的优化。在实验上,验证了该压缩方案的有效性,证明其能够获得比微调和知识蒸馏更优秀的性能恢复效果,并展现了它有竞争力的压缩能力。