不同规模数据集下的深度神经网络剪枝方法

作     者：袁沁 

作者单位：杭州电子科技大学 

学位级别：硕士

导师姓名：孙闽红

授予年度：2023年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主      题：深度学习 模型压缩 网络剪枝 遗传算法 元迁移学习 

摘      要：深度学习是机器学习的一个子集,近年来在计算机视觉、自然语言处理、语音识别和自动驾驶等各个领域得到了广泛的应用,为人们的生活带来了极大的便利。深度学习以人工神经网络作为基本架构,需要庞大的参数量和计算资源来保证模型的性能,但资源有限的嵌入式设备无法满足深度学习的存储需求和计算需求。基于此,模型压缩技术应运而生。模型压缩方法主要可以分为五种:参数量化、低秩分解、知识蒸馏、紧凑网络设计、网络剪枝。网络剪枝作为其中的一种,可以去除冗余的网络结构以减少模型的参数量和计算量,从而降低模型的复杂度。本文的主要研究工作包括以下几个方面:1.在大规模数据集下,针对网络结构的重要性评估问题,本文结合遗传算法在网络剪枝问题上的应用,对现有的研究进行了改进,提出了一种基于改进自适应遗传算法的网络剪枝方法。现有的剪枝方法通常需要根据经验来调整超参数,例如剪枝率,学习率,剪枝阈值等,这些参数的大小往往难以权衡,如果太小会使剪枝效果不理想,如果太大则对模型的准确率造成影响。对此,本文设计了新的适应度函数和整体剪枝流程,并利用自适应的交叉概率和变异概率来代替固定的超参数,提高了剪枝效率和模型准确率。实验结果表明,在CIFAR-10和CIFAR-100数据集上,VGG和Res Net模型最高可减少93.66%和83.10%的参数量,计算量可减少62.53%和60.44%。2.进一步地,在小样本数据集下,针对实际应用场景中往往没有大量的有标签数据可供训练,且常规剪枝方法效果不佳的问题,本文提出了一种基于元迁移学习的迭代随机剪枝方法。结合了迁移学习和元学习的优势,首先利用迁移学习在大规模数据集下进行训练,然后在小样本数据集上进行元学习,帮助深度神经网络更快地收敛,得到性能较好的预训练模型。在此基础上,运用迭代随机剪枝方法,得到稀疏模型。实验表明,在小样本数据集下,所提方法能够在一定程度上缓解过拟合问题,并减少模型的参数量。与MAML等小样本学习方法相比,模型的准确率平均提高了6.23%,参数量平均可减少47.08%;与常规剪枝方法相比,模型在50%左右剪枝率时依然能维持较高的准确率。