检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于层融合特征系数的动态网络结构化剪枝

模式识别与人工智能 2019年第11期32卷 1051-1059页

作者：卢海伟袁晓彤南京信息工程大学自动化学院

剪枝是一种减少模型复杂度的有效方式,现有的剪枝方法仅考虑卷积层对特征图的影响,无法准确判断冗余滤波器,文中提出基于层融合特征系数的动态网络结构化剪枝方法.同时考虑卷积层和批规范化(BN)层对输出特征图的影响,利用多动态参数确... 详细信息

剪枝是一种减少模型复杂度的有效方式,现有的剪枝方法仅考虑卷积层对特征图的影响,无法准确判断冗余滤波器,文中提出基于层融合特征系数的动态网络结构化剪枝方法.同时考虑卷积层和批规范化(BN)层对输出特征图的影响,利用多动态参数确定滤波器的重要性,动态寻找冗余滤波器,获取最优网络结构.在CIFAR-10、CIFAR-100数据集上的实验表明,无论是残差网络还是轻量型网络,文中方法在采用较大剪枝率时仍能保持较高精度.

关键词：模型复杂度层融合特征系数结构化剪枝动态参数

在线全文

学校读者我要写书评

暂无评论

基于深度神经网络二阶信息的结构化剪枝算法

计算机工程 2021年第2期47卷 12-18页

作者：季繁繁杨鑫袁晓彤南京信息工程大学江苏省大数据分析技术重点实验室南京210044

现有结构化剪枝算法通常运用深度神经网络(DNN)的一阶或者零阶信息对通道进行剪枝,为利用二阶信息加快DNN网络模型收敛速度,借鉴HAWQ算法思想提出一种新的结构化剪枝算法。采用幂迭代法得到经过预训练的网络参数对应Hessian矩阵的主特... 详细信息

现有结构化剪枝算法通常运用深度神经网络(DNN)的一阶或者零阶信息对通道进行剪枝,为利用二阶信息加快DNN网络模型收敛速度,借鉴HAWQ算法思想提出一种新的结构化剪枝算法。采用幂迭代法得到经过预训练的网络参数对应Hessian矩阵的主特征向量,据此向量衡量网络通道的重要性并进行通道剪枝,同时对剪枝后的网络参数进行微调提高DNN分类性能。实验结果表明,该算法在网络参数量和每秒浮点运算次数分别减少29.9%和34.6%的情况下,在ResNet110网络上的分类准确率提升了0.74%,剪枝效果优于PF、LCCL等经典剪枝算法。

关键词：深度神经网络网络压缩结构化剪枝二阶信息幂迭代法

在线全文

学校读者我要写书评

暂无评论

基于梯度追踪的结构化剪枝算法

计算机仿真 2022年第8期39卷 347-355,414页

作者：王珏季繁繁袁晓彤南京信息工程大学江苏省大数据分析技术重点实验室江苏南京210044

针对深度卷积神经网络存在的过参数化问题,提出一种梯度追踪的结构化剪枝算法。在优化器步骤中选择梯度最大的滤波器,将其索引与参数幅值最大的滤波器索引合并,形成一个并集;根据上述并集更新模型参数;使用一种动态的滤波器选择方法,从... 详细信息

针对深度卷积神经网络存在的过参数化问题,提出一种梯度追踪的结构化剪枝算法。在优化器步骤中选择梯度最大的滤波器,将其索引与参数幅值最大的滤波器索引合并,形成一个并集;根据上述并集更新模型参数;使用一种动态的滤波器选择方法,从而获得压缩后的模型。实验结果表明,采用梯度追踪的剪枝算法使用参数信息和梯度信息,能有效地剪除卷积神经网络的冗余参数。最后结论是,上述方法在压缩深度卷积神经网络的同时,能够更好地保持网络精度。

关键词：结构化剪枝梯度追踪算法动态剪枝模型压缩卷积神经网络

在线全文

学校读者我要写书评

暂无评论

基于梯度的自适应阈值结构化剪枝算法

计算机工程 2022年第9期48卷 113-120页

作者：王国栋叶剑谢萦钱跃良临沂中科人工智能创新研究院山东临沂276000 中国科学院计算技术研究所泛在计算系统研究中心北京100190

在边缘设备上运行深度神经网络模型并进行实时性分析,需要对网络模型进行压缩以减少模型参数量和计算量,但现有剪枝算法存在耗时长和模型压缩率低的问题。提出一种基于梯度设置不同阈值的结构化剪枝算法。对神经元进行细粒度评价,采用... 详细信息

在边缘设备上运行深度神经网络模型并进行实时性分析,需要对网络模型进行压缩以减少模型参数量和计算量,但现有剪枝算法存在耗时长和模型压缩率低的问题。提出一种基于梯度设置不同阈值的结构化剪枝算法。对神经元进行细粒度评价,采用神经网络的梯度信息衡量权重的重要性,通过网格搜索和计算曲率的方式获取不同网络层的剪枝权重阈值,根据搜索后的剩余参数量确定不同网络层的卷积核中需要剔除的冗余参数。在此基础上,保留网络层中有效参数较多的卷积核,实现对卷积核个数的调整,进而重新训练以保证模型精度。分别对VGG16、ResNet50分类模型和SSD、Yolov4、MaskRCNN目标检测模型进行剪枝实验,结果表明,经该算法剪枝后,分类模型参数量减少92%以上,计算量减少70%以上,目标检测模型参数量减少75%以上,计算量减少57%以上,剪枝效果优于Rethinking、PF等算法。

关键词：模型压缩神经网络梯度信息自适应阈值结构化剪枝

在线全文

学校读者我要写书评

暂无评论

面向深度卷积神经网络的结构化剪枝方法研究

面向深度卷积神经网络的结构化剪枝方法研究

作者：段远志西南大学

学位级别：硕士

深度卷积神经网络促进了很多主流计算机视觉任务的发展与落地,深刻改变了人们的生产生活方式。近年来,针对终端人工智能应用的需求越来越大,比如自动驾驶、目标追踪等。因为需要考虑器件尺寸、经济成本、能耗、可靠性等因素,终端设备的... 详细信息

深度卷积神经网络促进了很多主流计算机视觉任务的发展与落地,深刻改变了人们的生产生活方式。近年来,针对终端人工智能应用的需求越来越大,比如自动驾驶、目标追踪等。因为需要考虑器件尺寸、经济成本、能耗、可靠性等因素,终端设备的计算和存储能力往往受到很多限制。与之相对的是,现代深度神经网络的模型尺寸越来越大,对硬件的要求也越来越高,严重限制了其在资源受限的设备中的应用。一方面,某些高精度的模型由于尺寸限制难以部署在这些终端设备中;另一方面,某些终端应用对实时性要求很高,模型的推理速度是限制其应用的主要瓶颈。所以,在保持模型精度的同时,对深度神经网络进行压缩和加速有很大的实际意义。常见的神经网络压缩方法包括结构化剪枝、权重剪枝、权重量化和知识蒸馏等,这些方法各有优劣。结构化剪枝具有对硬件友好、便于实现等优点,是网络压缩领域最重要的研究方向之一。尽管结构化剪枝技术已经取得了很大的成功,但是仍然存在一些问题需要去解决,比如很多剪枝方法是基于启发式或经验式设计的贪婪算法,缺乏足够的理论支撑;算法复杂度过高等。针对这些存在的问题,本文从最直观的现象入手,逐步提出了相应的解决方案。具体地,本文的主要研究内容和贡献如下:(1)提出了一种基于特征偏移最小化的结构化剪枝方法,从一个新的视角去识别神经网络中的冗余,通过充分的实验验证了其在网络剪枝中的有效性。首先,本文从剪枝与网络各层精度的变化曲线入手,深入分析了曲线“异常”变化的原因,提出了特征偏移的概念。并通过实验证明了其和模型精度之间呈正相关关系,进而证明了其可用于网络剪枝中。然后,为了降低计算特征偏移量的复杂度,提出了一种特征偏移量估算算法,并通过详尽的消融实验证实了其可行性。最后,本文提出了一个特征分布优化算法去利用计算得到的特征偏移量信息,无需训练即可部分恢复剪枝所引起的精度损失,提高了剪枝算法整体效率。(2)提出了一种基于特征真实贡献的神经网络全局自动化剪枝方法,解决了(1)中提出的算法需要人为设置各层压缩率的问题,从网络整体角度提出了一个新的剪枝标准,提高了算法的适用性和有效性。首先,本文从各层输出特征三种直观分类入手,揭示了特征信息传递过程会发生不同程度的损失,并对这种信息损失的程度进行了定量分析,进一步的实验证明了这种信息损失存在一定稳定性。然后,在此基础上,通过计算某个通道的输出变化对后续网络层输出的影响,提出了一种新的全局剪枝标准。最后,设计了一组优化策略去降低算法复杂度,并通过充分的实验证明了该算法的有效性。

关键词：卷积神经网络神经网络压缩特征偏移结构化剪枝自动化剪枝

面向卷积神经网络的结构化剪枝和硬件加速方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向卷积神经网络的结构化剪枝和硬件加速方法研究

作者：李环宇中原工学院

学位级别：硕士

近年来,以卷积神经网络为代表的深度学习方法取得了巨大进步,并被广泛应用于各种计算机视觉任务,如自动驾驶、工业缺陷检测和智能安全等。可随着识别和检测性能的不断提高,模型容量也在不断增加,因此对计算设备的存储空间、效率和功耗... 详细信息

近年来,以卷积神经网络为代表的深度学习方法取得了巨大进步,并被广泛应用于各种计算机视觉任务,如自动驾驶、工业缺陷检测和智能安全等。可随着识别和检测性能的不断提高,模型容量也在不断增加,因此对计算设备的存储空间、效率和功耗的要求也在不断提高。神经网络结构化剪枝通过剔除模型中的冗余特征,以达到压缩和加速效果,但是目前的方法还存在自适应能力差、步骤繁琐和计算复杂度较高等问题。因此本文对结构化剪枝进行深入研究,提出了一些创新性的方法,最后提出了基于FPGA的硬件加速方法实现剪枝模型的部署。具体研究内容与创新点包括:（1）基于K-Medoid相关性权重聚类和灵敏度分析的结构化剪枝算法。该方法解决了逐层均匀比例剪枝,导致卷积层次优压缩、残留大量冗余参数和自适应能力差等问题。首先逐层将预训练模型的滤波器及其关联性权重在不同剪枝比例下进行KMedoid聚类以获得相似性低的簇;再通过批归一化层重校准技术对聚类获得的剪枝结构进行精度校准,从而构建模型精度损失的灵敏度曲线;最后基于该曲线,在设定的压缩率下进行二分搜索计算全局剪枝率,并逐层对权重进行K-Medoid聚类以获得最终要保留的滤波器。在多个公开数据集的实验表明,该方法可以取得很好的压缩比和加速比。（2）基于二维熵特征评估和快速自适应滤波器选择的网络修剪。尽管现有的剪枝方法已经有很好的性能提升,但仍存在计算复杂和易产生次优剪枝结果的问题。该方法首先使用特征图包含信息量作为理论指导来衡量相应滤波器重要性,以简化复杂的搜索穷举过程。然后,逐层对信息熵进行标准化,并使用该值一次性计算每层的重要性分数。此外,利用剪枝率与卷积层重要性之间的负相关关系,构造了稀疏约束方程。在此基础上,采用Nelder-Mead搜索算法快速、自适应地确定剪枝结构。最后根据剪枝率和二维熵继承重要权值,并通过微调恢复模型性能。在CIFAR-10/100和ILSVRC-2012数据集上的大量实验表明,该方法可以在减少许多FLOPs和参数时仍达到相当高的精度,超过目前一些先进的方法。（3）快速子网络评估的PSO自动剪枝算法。针对目前结构化剪枝方法步骤繁琐,效果依赖于设计者的专业经验,提出了该方法。首先,由于深度网络模型结构复杂,直接搜索最优子网络结构是代价昂贵,所以本研究将网络模型表示为结构向量,并提出剪枝步长来压缩搜索空间;然后在设定稀疏约束下利用粒子群优化算法来寻找最优子网络结构,其中引入自适应批归一化评估策略来加速粒子的寻优速度;最后在多个流行的卷积神经网络模型上进行的广泛实验表明,该算法比传统的通道剪枝方法和一些基于自动剪枝的方法具有更好的性能表现。（4）面向FPGA动态定点量化和并行化设计的CNN硬件加速方法。针对庞大的计算量使得深度卷积神经网络难以部署在资源紧张、功耗灵敏的嵌入式设备上的问题,提出了基于动态定点量化和并行化设计的CNN硬件加速方法,以验证剪枝网络在其上的性能。首先采用动态定点量化技术对网络模型进行稀疏化压缩处理,从而降低网络模型计算位宽。其次,针对计算密集的卷积层,设计矩阵分块策略及多位宽流水线并行设计充分挖掘计算并行度,提高数据复用率;另外,使用二维池化分离策略将二维池化分解为两次并行一维池化,大大减少了寄存器的使用;最后以K-Medoid相关性权重聚类和灵敏度分析的结构化剪枝方法为例,将获得的硬件友好的剪枝网络部署在FPGA硬件加速器上。实验从精度、资源使用和功耗效率方面,证明了基于FPGA的CNN硬件加速的可行性和高效性。本文从硬件设备友好的结构化剪枝出发,提出了一系列神经网络修剪算法,解决目前剪枝框架步骤繁琐,次优剪枝和计算复杂度高等问题,并设计了一个基于FPGA的CNN硬件加速器。这些工作对实现深度神经网络的工业缺陷检测和智能安防的信息技术领域的应用具有积极意义。

关键词：卷积神经网络模型轻量化结构化剪枝通道剪枝 FPGA

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于结构化剪枝的神经网络模型压缩算法研究

基于结构化剪枝的神经网络模型压缩算法研究

作者：申卓电子科技大学

学位级别：硕士

卷积神经网络近几十年有了很大的进展,性能越来越强劲,应用场景越来越多。但是与此同时,卷积神经网络的结构也变得越来越宽,越来越深,参数量越来越大,这对运行该卷积神经网络的设备的算力和内存资源也提出了要求。这种情况很大程度上阻... 详细信息

卷积神经网络近几十年有了很大的进展,性能越来越强劲,应用场景越来越多。但是与此同时,卷积神经网络的结构也变得越来越宽,越来越深,参数量越来越大,这对运行该卷积神经网络的设备的算力和内存资源也提出了要求。这种情况很大程度上阻碍了其实际应用。因此,对神经网络模型进行压缩,使得性能优异的神经网络模型也能在资源有限的条件下使用,这对于深度学习算法的应用意义重大。在本文中,我们提出了两个对卷积神经网络的结构化剪枝方法。一个是基于泰勒展开的数据驱动剪枝算法,另一个是基于注意力机制的剪枝算法。两个方法都是先度量卷积核的重要性,然后根据卷积核的重要性值以及裁剪比例确定剪枝后的结构。正是因为剪枝的单位是卷积核,所以两个方法都适用于现代卷积神经网络结构,不需要特殊的软硬件加速器。实验证明,两个方法都可以在几乎不影响精度的前提下,大大减少卷积神经网络的参数量。基于泰勒展开的数据驱动剪枝算法假设:某个参数对损失值的影响越大,就认定该参数越重要。基于该假设,我们使用泰勒展开近似逼近某个卷积核对损失值的影响,来确定该卷积核的重要性。由于卷积核的参数量多且数量不同,我们引入了门机制,将泰勒展开的对象从卷积核的全部参数简化为一个参数,如此得到了该卷积核对应通道的重要性度量,然后根据裁剪比例就可以得到剪枝的结果。基于注意力机制的剪枝算法利用注意力机制模块可以增强重要通道,抑制次重要通道的特点,在待压缩的卷积神经网络引入了注意力机制模块获取通道的重要性度量,同时为了使得到的通道重要性之间的差异更大,进一步引入了稀疏项约束,稀疏项对注意力机制的参数使用(?)范数约束。根据得到的通道重要性度量以及裁剪比例,对待压缩神经网络做剪枝并且重新训练得到压缩后的神经网络。实验结果证明引入稀疏项对剪枝结果有着明显的提升。

关键词：卷积神经网络模型压缩结构化剪枝注意力机制正则化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

卷积神经网络结构化剪枝算法研究

卷积神经网络结构化剪枝算法研究

作者：卢海伟南京信息工程大学

学位级别：硕士

随着深度学习的快速发展,深度神经网络的深度与宽度都在不断增大,实际应用受限于神经网络的计算量和存储量,导致了训练出的网络模型难以运用在移动设备和嵌入式装置。剪枝是一种简单且高效的压缩方法,通过裁剪神经网络中的某一个神经元... 详细信息

随着深度学习的快速发展,深度神经网络的深度与宽度都在不断增大,实际应用受限于神经网络的计算量和存储量,导致了训练出的网络模型难以运用在移动设备和嵌入式装置。剪枝是一种简单且高效的压缩方法,通过裁剪神经网络中的某一个神经元或者滤波器达到减少网络计算复杂度的目的。现有的剪枝方法分为结构化剪枝和非结构化剪枝两类,但由于非结构化剪枝需要特定的硬件以及深度学习库支持,难以加速现有的硬件装置。因此,本文将重点研究结构化剪枝,在不破坏网络结构的基础上,减小网络模型大小。为了更准确地选择到网络中的冗余滤波器,本文提出了两种不同的剪枝方法:1)提出了一种基于滤波器注意力机制与特征缩放系数的动态网络剪枝方法现有的剪枝方法更多考虑卷积层对滤波器的影响,却忽略了批标准化层对选择冗余滤波器的影响,无法保证选择冗余滤波器的准确性。针对这一关键问题,利用卷积层和批标准化层双层信息的动态网络剪枝方法,分别考虑卷积层和批标准化层对选择冗余滤波器的影响,更加准确地选择并裁剪冗余滤波器,提高了网络的预测精度。2)提出了一种基于层融合特征系数的动态网络结构化剪枝方法在上述方法的基础上,从分别考虑卷积层和批标准化层对选择冗余滤波器的影响到综合考虑卷积层和批标准化层对选择冗余滤波器的影响,将卷积层和批标准化层表达形式全连接化,引入多动态参数变量,动态确定不同层的冗余滤波器,有效地压缩了模型的大小。实验表明,不管是在残差网络还是轻量化网络,压缩后的网络都具有较高的精度,甚至在一定范围的压缩率下,压缩后的网络超过了原网络精度。

关键词：深度学习神经网络压缩结构化剪枝注意力机制层融合特征系数

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

增强线性表示冗余的卷积神经网络结构化剪枝

增强线性表示冗余的卷积神经网络结构化剪枝

作者：王伯珏天津师范大学

学位级别：硕士

深度神经网络是当前人工智能领域最重要的研究分支,这一分支受到了学术界和工业节的极大关注。在过去的几十年中,随着互联网以及电子设备的发展,人们收集数据的能力获得了令人惊叹的进步。同时,在硬件的计算能力和存储技术方面所取得的... 详细信息

深度神经网络是当前人工智能领域最重要的研究分支,这一分支受到了学术界和工业节的极大关注。在过去的几十年中,随着互联网以及电子设备的发展,人们收集数据的能力获得了令人惊叹的进步。同时,在硬件的计算能力和存储技术方面所取得的重大突破为深度神经网络提供了其所必需的物质基础条件,促进了深度神经网络乃至整个人工智能领域的普及和繁荣。随着人们对深度神经网络的研究日益精进,深度神经网络呈现出一种逐步加深和加宽的趋势,通常这会为我们带来更强大的模型表示能力以及更高目标任务精度。但是,这也使得模型的参数量以及模型推理所需要的计算量急剧增加。模型的部署要求变得更为严苛,无法在硬件尺寸受限的场景下进行普及,例如移动设备、嵌入式系统等。庞大的计算量也使得模型的响应速度变得更慢,无法适应对于实时性要求较高的应用场景。过高的硬件要求也显著提高了学术研究、工业生产、商业应用的门槛,使得深度神经网络只能在资金充沛的少量高等院校以及一些顶尖大型的公司才能找到其生长所需的土壤。为了解决上述问题,模型压缩技术伴随着深度神经网络的发展而发展,是十分重要的研究课题并且将被长期的研究下去。结构化剪枝是模型剪枝技术的一个新兴重要分支。结构化剪枝可以很好的利用蓬勃发展的硬件并行计算技术所带来的优势,因而优于非结构化剪枝技术。为了获得更好的结构化剪枝表现,本文首先提出了一种数据驱动的损失函数项,该损失函数项通过计算卷积神经网络某一隐藏层的不同卷积核所输出的所有通道之间的相关系数进行构建,命名为CCM-loss。这个损失函数项可以鼓励神经网络在训练过程中自发的学习到更多的特征图通道之间的线性表示冗余。在不降低目标任务精度的前提下,CCM-loss为我们提供了专注于生成零冗余的基于L*-norm的损失函数项之外的另一种普适性的且用于在训练过程中生成更多冗余的靶向先验性数学工具。进一步的,为了开发利用CCM-loss的最大潜能,本文设计了与之相匹配的一种新型通道选择策略,该策略是一种基于主成分分析的方法。在新策略中,我们首要关注流经网络的信息流主成分的一致性和完整性。与以往工作中依照经验为每一层硬编码保留比,在剪枝开始时限定剪枝后的目标模型尺寸不同,本文所提出的通道选择策略可以动态的针对每一个不同预训练网络的实际情况自动为其中每一层选择合适的通道保留率,从而试图将剪枝率推向极限,同时试图最大限度地保留有效信息。实验结果表明,在CIFAR-10数据集上,使用本文方法进行剪枝的VGG-16模型可以在仅保留1.40M参数和49.60M FLOPs的目标模型中获得93.64%的准确率,与压缩前的原始网络相比,参数量和FLOPs分别下降了90.6%和84.2%。此外,在Res Net-56和Res Net-110模型的相关试验中,使用本文方法,我们证实了即使在模型某些层中仅保留一个通道,模型的准确率依然可以保持在很高的水平。

关键词：模型压缩结构化剪枝卷积核剪枝线性表示冗余通道选择机制