多粒度卷积神经网络剪枝算法的研究

作     者：周晚晴 

作者单位：北京工业大学 

学位级别：硕士

导师姓名：包振山

授予年度：2019年

学科分类：080902[工学-电路与系统] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

主      题：深度学习 模型压缩 网络剪枝 OpenPose 人体动作识别 

摘      要：近年来,随着深度学习技术的高速发展,深度神经网络在图像分类、目标检测、图像分割等计算机视觉任务中取得了革命性的突破,达到并超越了人类感知能力的极限。与此同时,新一代人工智能物联网(AIoT)的“智心逐渐由集中化高性能处理平台向“边缘节点转移,业界对于提升资源有限边缘节点的智能化水平的呼声也越来越高。然而,当前高精度网络模型的层数、参数数量和计算量十分庞大,同时其存在较大冗余,导致其在资源有限的边缘节点中部署困难。因此,如何对深度神经网络的模型进行压缩与加速,使其能够满足边缘节点智能化、实时化应用所需已经成为当前深度学习领域研究的一大热点问题。基于深度神经网络的压缩与加速技术大致可以分为针对网络模型优化和基于硬件的加速。对于前者,以往研究包括设计精简的网络模型和网络剪枝,网络剪枝技术直接作用于现有的高精度网络模型,灵活高效,根据剪枝粒度可分为滤波器级剪枝和连接级剪枝。然而,滤波器级剪枝对网络剪枝并不彻底,连接级剪枝使得剪枝后的网络模型难以收敛。为了更好地借鉴现有深度网络模型成果,本文基于滤波器级和连接级剪枝思想,提出了一种多粒度卷积神经网络剪枝框架,设计并实现了相应的训练策略,兼容了两类剪枝策略的优势;对于后者,通常需要结合具体应用需求展开,本文将人体动作识别算法中的深度模型优化后部署在新型嵌入式CPU-GPU异构计算模块(NVIDIA Jetson TX2)上,有效提升了终端节点的智能水平。本文的主要工作可以概括为以下三个方面:1.分析了网络剪枝技术中的滤波器级剪枝和连接级剪枝,针对两类方法中存在的问题,提出了一种多粒度卷积神经网络剪枝框架及与之相适应的训练策略。所提出的网络剪枝算法选用AlexNet和VGG16网络进行实验验证,实验结果表明,本文方法在较好地保持网络精度的前提下显著提高了网络的压缩率。2.提出了一种基于OpenPose的人体动作识别算法,制作了相应的人体关键点坐标数据集,并将算法应用到教室精品课程智能化录制系统中,通过真实场景中的教师板书动作识别实验验证了算法的正确性和有效性。3.采用多粒度卷积神经网络剪枝框架优化了本文提出的基于OpenPose的人体动作识别算法中的深度网络模型,并将优化后的算法移植到了嵌入式异构计算核心模块(TX2)中进行实验验证,实验结果证明,优化后的人体动作识别算法可有效满足实际的应用需求。