基于演化算法的卷积神经网络剪枝算法研究

作     者：张子逊 

作者单位：大连理工大学 

学位级别：硕士

导师姓名：雷娜

授予年度：2020年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：深度卷积神经网络 自动化神经网络剪枝 演化算法 可伸缩网络 

摘      要：随着近年来卷积神经网络的发展,卷积神经网络剪枝与压缩逐渐成为学术界和工业界所关注的热点。传统的基于手工设计度量剪枝算法需要依赖大量的人工经验和试验,而现存的自动化剪枝算法在通道选择上仍然使用手工设计的度量方法。为此,本文提出了两种基于演化算法的卷积神经网络剪枝算法,解决自动化剪枝问题。首先,为了解决自动化通道选择问题,本文提出了基于演化算法的自动化剪枝算法MetaSelection。该算法从集合搜索的角度,将剪枝问题转化为组合优化问题,并使用演化算法对卷积神经网络中的每个卷积的通道进行搜索。由于搜索空间庞大,本文引入了由粗粒度到细粒度的剪枝策略降低通道剪枝搜索空间,同时基于分布估计改进了标准交叉算子进一步加速演化算法的速度。接着,本文针对MetaSelection中存在的搜索空间大、剪枝模型评估可靠性的问题,提出了基于可伸缩网络的剪枝结构搜索算法EPSN。通过在预训练阶段引入可伸缩网络,进一步降低基于演化算法的自动化剪枝的搜索空间,提高演化过程中对剪枝网络性能评估的可靠性。可伸缩网络使用宽度系数将连续的宽度搜索空间离散化,在搜索时避免通道选择问题,直接对网络宽度组合进行搜索,大大降低了搜索空间。此外,针对原始可伸缩网络只能使用统一的宽度系数,本文使用改进的采样训练策略,使其能够适应任意宽度组合。本文在常见的图像分类数据集上,在多个常见的卷积神经网络上对提出的算法进行了测试,验证了算法的有效性。与现有的几种自动化剪枝算法和传统剪枝算法相比,在相同的目标模型规模限制下,本文所提出的算法得到的剪枝模型具有同等或更高的准确率。