检索结果-南通市图书馆

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于模块相似性的超分网络剪枝

电子科技大学学报 2022年第1期51卷 108-116页

作者：周仁爽陈尧森郭兵沈艳李杰王炜四川大学计算机学院成都610065 成都索贝数码科技股份有限公司成都610041 成都信息工程大学计算机学院成都610225 鹏城实验室广东深圳518055

该文针对单图像超分辨率网络(SISR)提出了一种简单的网络剪枝方法。该方法通过评估超分网络中各模块的相似性,用一种简单办法将相似度转换为各模块对网络的贡献程度,从而找到对超分网络相对不重要的模块进行网络剪枝,达到超分辨率网络... 详细信息

该文针对单图像超分辨率网络(SISR)提出了一种简单的网络剪枝方法。该方法通过评估超分网络中各模块的相似性,用一种简单办法将相似度转换为各模块对网络的贡献程度,从而找到对超分网络相对不重要的模块进行网络剪枝,达到超分辨率网络压缩的目的。通过基于模块相似性的超分网络剪枝,原本参数量庞大的超分网络得到了压缩,参数量和运算量都大幅下降。实验表明,通过剪枝后的超分网络其参数量可以下降60%以上,同时精度下降不超过0.1%,对超分网络部署到低性能平台有着实际意义。

关键词：超分辨率网络压缩模块相似性网络剪枝

在线全文

学校读者我要写书评

暂无评论

基于自动修补策略的网络剪枝

模式识别与人工智能 2022年第1期35卷 62-70页

作者：苏启航钱烨强袁伟杨明王春香上海交通大学自动化系上海200240 上海交通大学系统控制与信息处理教育部重点实验室上海200240 上海交通大学密西根学院上海200240

为有效缓解深度神经网络因其庞大的计算资源消耗而产生的实际应用受限的问题,研究人员设计包括剪枝在内的多种压缩策略.基于贪心思想的网络剪枝算法大都包含训练、剪枝、微调三部分,无法求得最优的剪枝结构.因此,文中结合人工规则和自... 详细信息

为有效缓解深度神经网络因其庞大的计算资源消耗而产生的实际应用受限的问题,研究人员设计包括剪枝在内的多种压缩策略.基于贪心思想的网络剪枝算法大都包含训练、剪枝、微调三部分,无法求得最优的剪枝结构.因此,文中结合人工规则和自动搜索方法,提出基于自动修补策略的网络剪枝.整体剪枝流程包括训练、预剪枝、修补和微调四个阶段,增加的修补阶段可调整预剪枝模型的结构.具体方法是使用神经架构搜索实现修补操作,设计搜索空间和搜索策略,并基于预剪枝阶段的卷积核排序加速评估过程.实验表明文中方法在剪枝率较高时仍能保持网络的准确率.

关键词：深度神经网络网络剪枝神经架构搜索网络修补

在线全文

学校读者我要写书评

暂无评论

基于贝叶斯优化的无标签网络剪枝算法

计算机应用 2023年第1期43卷 30-36页

作者：高媛媛余振华杜方宋丽娟宁夏大学信息工程学院银川750021 宁夏大数据与人工智能省部共建协同创新中心(宁夏大学) 银川750021

针对深度神经网络(DNN)的参数和计算量过大问题,提出一种基于贝叶斯优化的无标签网络剪枝算法。首先,利用全局剪枝策略来有效避免以逐层方式修剪而导致的模型次优压缩率;其次,在网络剪枝过程中不依赖数据样本标签,并通过最小化剪枝网络... 详细信息

针对深度神经网络(DNN)的参数和计算量过大问题,提出一种基于贝叶斯优化的无标签网络剪枝算法。首先,利用全局剪枝策略来有效避免以逐层方式修剪而导致的模型次优压缩率;其次,在网络剪枝过程中不依赖数据样本标签,并通过最小化剪枝网络与基线网络输出特征的距离对网络每层的压缩率进行优化;最后,利用贝叶斯优化算法寻找网络每一层的最优剪枝率,以提高子网搜索的效率和精度。实验结果表明,使用所提算法在CIFAR-10数据集上对VGG-16网络进行压缩,参数压缩率为85.32%,每秒浮点运算次数(FLOPS)压缩率为69.20%,而精度损失仅为0.43%。可见,所提算法可以有效地压缩DNN模型,且压缩后的模型仍能保持良好的精度。

关键词：深度神经网络模型压缩网络剪枝网络结构搜索贝叶斯优化

在线全文

学校读者我要写书评

暂无评论

基于强化学习的无标签网络剪枝

模式识别与人工智能 2021年第3期34卷 214-222页

作者：刘会东杜方余振华宋丽娟宁夏大学信息工程学院银川750021 宁夏大学宁夏大数据与人工智能省部共建协同创新中心银川750021

为了消除深度神经网络中的冗余结构,找到具备较好性能和复杂度之间平衡性的网络结构,提出基于无标签的全局学习方法(LFGCL).LFGCL学习基于网络体系结构表示的全局剪枝策略,可有效避免以逐层方式修剪网络而导致的次优压缩率.在剪枝过程... 详细信息

为了消除深度神经网络中的冗余结构,找到具备较好性能和复杂度之间平衡性的网络结构,提出基于无标签的全局学习方法(LFGCL).LFGCL学习基于网络体系结构表示的全局剪枝策略,可有效避免以逐层方式修剪网络而导致的次优压缩率.在剪枝过程中不依赖数据标签,输出与基线网络相似的特征,优化网络体系结构.通过强化学习推断所有层的压缩率,采用深度确定性策略梯度算法探索最优网络结构.在多个数据集上的实验表明,LFGCL性能较优.

关键词：深度神经网络(DNN) 网络剪枝网络架构搜索强化学习

在线全文

学校读者我要写书评

暂无评论

基于特征归因重要度评价的卷积网络剪枝

中国科学：信息科学 2021年第1期51卷 13-26页

作者：张彪杨朋波桑基韬于剑北京交通大学计算机与信息技术学院北京100044 交通数据分析与挖掘北京市重点实验室(北京交通大学) 北京100044

近几年,深度模型在诸多任务中取得了巨大成功,但是深度模型需要大量的存储和计算资源实现精确决策,研究者为了将深度模型应用到资源受限的终端设备中,设计了模型压缩的优化策略来降低模型占存和计算量.本文基于剪枝压缩框架,从卷积核重... 详细信息

近几年,深度模型在诸多任务中取得了巨大成功,但是深度模型需要大量的存储和计算资源实现精确决策,研究者为了将深度模型应用到资源受限的终端设备中,设计了模型压缩的优化策略来降低模型占存和计算量.本文基于剪枝压缩框架,从卷积核重要度评价的角度提出了两种模型剪枝算法.(1)由于每个卷积核都可以学习到其独有特征信息,因此本文提出了一种归因评价机制用于评价卷积核所学特征与因果特征的相关度,将模型中与因果特征相关度较低的卷积核进行裁剪,以实现模型压缩的目的,同时也能够保留原模型的归因特征,称此算法为归因剪枝.(2)第2种剪枝算法基于迭代优化剪枝框架,采用卷积通道和梯度中正相关特征评价相应卷积核重要度,以便于提高剪枝冗余卷积核的精准度,称为Taylor-guided剪枝算法.本文在VGGNet和ResNet两种网络架构上进行实验验证,结果表明:归因剪枝算法可以极大地保留原模型的归因特征;并且两种剪枝算法能够取得比当前主流剪枝算法更优异的压缩效果.

关键词：深度学习网络剪枝归因压缩 Taylor展开

在线全文

学校读者我要写书评

暂无评论

不同规模数据集下的深度神经网络剪枝方法

不同规模数据集下的深度神经网络剪枝方法

作者：袁沁杭州电子科技大学

学位级别：硕士

深度学习是机器学习的一个子集,近年来在计算机视觉、自然语言处理、语音识别和自动驾驶等各个领域得到了广泛的应用,为人们的生活带来了极大的便利。深度学习以人工神经网络作为基本架构,需要庞大的参数量和计算资源来保证模型的性能,... 详细信息

深度学习是机器学习的一个子集,近年来在计算机视觉、自然语言处理、语音识别和自动驾驶等各个领域得到了广泛的应用,为人们的生活带来了极大的便利。深度学习以人工神经网络作为基本架构,需要庞大的参数量和计算资源来保证模型的性能,但资源有限的嵌入式设备无法满足深度学习的存储需求和计算需求。基于此,模型压缩技术应运而生。模型压缩方法主要可以分为五种:参数量化、低秩分解、知识蒸馏、紧凑网络设计、网络剪枝。网络剪枝作为其中的一种,可以去除冗余的网络结构以减少模型的参数量和计算量,从而降低模型的复杂度。本文的主要研究工作包括以下几个方面:1.在大规模数据集下,针对网络结构的重要性评估问题,本文结合遗传算法在网络剪枝问题上的应用,对现有的研究进行了改进,提出了一种基于改进自适应遗传算法的网络剪枝方法。现有的剪枝方法通常需要根据经验来调整超参数,例如剪枝率,学习率,剪枝阈值等,这些参数的大小往往难以权衡,如果太小会使剪枝效果不理想,如果太大则对模型的准确率造成影响。对此,本文设计了新的适应度函数和整体剪枝流程,并利用自适应的交叉概率和变异概率来代替固定的超参数,提高了剪枝效率和模型准确率。实验结果表明,在CIFAR-10和CIFAR-100数据集上,VGG和Res Net模型最高可减少93.66%和83.10%的参数量,计算量可减少62.53%和60.44%。2.进一步地,在小样本数据集下,针对实际应用场景中往往没有大量的有标签数据可供训练,且常规剪枝方法效果不佳的问题,本文提出了一种基于元迁移学习的迭代随机剪枝方法。结合了迁移学习和元学习的优势,首先利用迁移学习在大规模数据集下进行训练,然后在小样本数据集上进行元学习,帮助深度神经网络更快地收敛,得到性能较好的预训练模型。在此基础上,运用迭代随机剪枝方法,得到稀疏模型。实验表明,在小样本数据集下,所提方法能够在一定程度上缓解过拟合问题,并减少模型的参数量。与MAML等小样本学习方法相比,模型的准确率平均提高了6.23%,参数量平均可减少47.08%;与常规剪枝方法相比,模型在50%左右剪枝率时依然能维持较高的准确率。

关键词：深度学习模型压缩网络剪枝遗传算法元迁移学习

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于重要性评估的网络剪枝算法研究

基于重要性评估的网络剪枝算法研究

作者：马嘉翔江南大学

学位级别：硕士

随着深度学习的不断发展,神经网络在性能不断提升的同时,它所需要的存储量及消耗的计算资源也随之大幅增长,这使得神经网络对运行设备的硬件要求变得更加严格,从而使得神经网络在性能较差的边缘设备上的部署及应用遇到了困难。研究表明... 详细信息

随着深度学习的不断发展,神经网络在性能不断提升的同时,它所需要的存储量及消耗的计算资源也随之大幅增长,这使得神经网络对运行设备的硬件要求变得更加严格,从而使得神经网络在性能较差的边缘设备上的部署及应用遇到了困难。研究表明,在网络中存在大量的冗余参数,这些参数在增加神经网络存储消耗的同时,还会使神经网络的性能表现有所下降。如果能够通过合适的方法从神经网络中删去这部分参数,即进行被称之为网络剪枝的过程,就能在保持神经网络精度的同时提高神经网络的轻量化程度,从而为其在边缘设备上的部署及应用提供便利。在对神经网络进行剪枝时,对其进行重要性评估是常见的一类做法,本文针对重要性评估方法进行了不同的研究探索,主要研究工作包括以下三个方面:(1)提出了基于彩票假设的软剪枝方法。软剪枝方法能够在剪枝算法的迭代过程中恢复在其迭代早期被错误剪去的网络参数,从而保证最终剪去正确的参数,使网络得到更好的性能。为了确定哪些参数是被错误剪去并对其进行恢复,设计了稀疏蒸馏方法将来自未被剪枝的完整网络的信息传递给当前迭代周期的待剪枝网络,并利用经设计的网络融合方法将其与当前迭代周期的已剪枝网络进行融合,从而在保证网络稀疏度的同时尽量保证了网络与未经剪枝的原始网络的相似性,使得网络在剪枝率较高时仍然能够保持较好的性能表现。(2)分别在网络层、卷积通道和卷积列尺度上对参数的重要性进行了评估。在网络层尺度上,通过分别计算网络层被剪枝及微调后的网络精度来确定该网络层的重要性;通过将通道进行全局平均池化来获得关于通道的全局信息,并通过sigmoid函数得到各个通道的重要性;通过计算每个卷积核中的参数相较于其它参数的相关性来获得相应参数的重要性;最后通过综合这三个尺度上的重要性得分来对参数的重要性进行最终的评估。突破了以往通过单一指标计算网络参数重要性的做法,使用多个指标对网络参数的重要性进行综合评定,能够更好地确定参数的重要性,进而得到更好的剪枝效果。(3)结合基于微分的网络架构搜索算法。将剪枝时参数所属的不同值域空间视为不同的搜索空间,给每个搜索空间赋予相应的可学习参数,在迭代学习过程中,每轮选择最小的可学习参数对应的搜索空间,将其从网络中剪去,重复这一步骤直到网络的剪枝率达到要求。创新性地将网络架构搜索算法引入网络剪枝算法领域,通过学习的方法确定网络的剪枝参数,相比于手动选择剪枝参数的方法更加自动化,且更不依赖于专家经验,更利于剪枝算法的实际部署。通过实验发现,在网络的中层,剪去最大和最小的参数能取得更好的剪枝效果。

关键词：深度学习网络加速网络剪枝知识蒸馏网络架构搜索

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于忆阻器的卷积神经网络剪枝量化方法研究

基于忆阻器的卷积神经网络剪枝量化方法研究

作者：钱曦聪西南大学

学位级别：硕士

近年来,卷积神经网络作为人工智能领域的一种主要方案,已应用于机器视觉,如图像识别,图像处理等领域。随着网络功能的逐渐强大以及精度的不断提高,最新的卷积神经网络需要大量的参数和计算量。由于制造成本的增加和基础物理限制的迫近,... 详细信息

近年来,卷积神经网络作为人工智能领域的一种主要方案,已应用于机器视觉,如图像识别,图像处理等领域。随着网络功能的逐渐强大以及精度的不断提高,最新的卷积神经网络需要大量的参数和计算量。由于制造成本的增加和基础物理限制的迫近,单靠器件的扩展已经不能提供期望的性能增益,因此需要新的设备和算法。忆阻器的理论概念在2008年与物理设备相结合,一直是非冯·诺伊曼架构领域的研究热点。由于其高密度,高操作速度和低功耗的优点,忆阻器广泛的在存储、计算和类脑应用方面显示出了巨大的潜力,但在忆阻器交叉阵列中的神经网络训练的过程中,还有部分问题需要解决,即不对称性和编程位精度不稳定。当忆阻器实际用作神经网络加速器时,这些非理想特性会在训练过程中会造成严重的干扰。为了解决上述问题,本文围绕基于忆阻器的卷积神经网络的实现及其在图像识别中的应用展开研究,以忆阻器为依托,将其与卷积神经网络相结合,实现网络参数的剪枝和量化以及忆阻器的存储和计算,主要研究内容如下:(1)首先基于忆阻器的特性和卷积神经网络的传播机制,设计忆阻器权值映射模块电路。然后设计基于忆阻器的卷积神经网络运算模块电路,其包含深度可分离卷积层、全局平均池化层、全连接层、Re LU激活函数和批归一化层。(2)结合卷积神经网络的参数分布,从卷积层和全连接层两个层面对神经网络参数进行筛选,分析神经网络模型中各层对不同剪枝方法的敏感度。以此确定删除冗余权值的剪枝方案,随后谈论了两种网络再训练的方法。通过高斯混合模型-K均值聚类方法以实现参数共享,接着微调剪枝量化后剩下的连接和权值,将其映射在忆阻器上用于卷积神经网络的计算。(3)利用忆阻器阵列仿真平台以及CIFAR-10数据集对设计的忆阻器阵列加速电路进行实验验证。首先在CIFAR-10数据集上完成网络的训练及剪枝量化操作,然后利用仿真平台将权值映射到忆阻器阵列进行实验并对结果进行分析。分别从能耗、功率、延时等方面对忆阻器电路的整体性能进行分析,以充分验证基于忆阻器的卷积神经网络剪枝量化方法的可行性和有效性。

关键词：忆阻器交叉阵列神经网络网络剪枝权值量化

基于深度学习的目标检测网络剪枝及FPGA部署

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于深度学习的目标检测网络剪枝及FPGA部署

作者：程强海南大学

学位级别：硕士

人工智能的发展正促进计算机视觉的智能化广泛应用。本文针对计算机视觉中目标检测技术的落地部署需求,开展了基于深度学习的目标检测网络的剪枝优化和FPGA部署研究。本文使用三种剪枝方法对目标检测网络进行剪枝,在保持较高精度的同时... 详细信息

人工智能的发展正促进计算机视觉的智能化广泛应用。本文针对计算机视觉中目标检测技术的落地部署需求,开展了基于深度学习的目标检测网络的剪枝优化和FPGA部署研究。本文使用三种剪枝方法对目标检测网络进行剪枝,在保持较高精度的同时减少目标检测网络的参数量和计算量,达到目标检测网络在部署平台加速的目的。本文的主要研究内容概述如下:1.针对部署平台Ultra96-V2 FPGA开发板,将待部署的目标检测网络YOLOX-S中开发板不支持的算子进行替换,设计多种备选方案,重新训练网络并测试精度。替换stem层、SPP层后网络的精度分别增加0.35、1.63个百分点,替换激活函数后精度下降3.31个百分点。相比原模型,模型精度最终只下降1.33个百分点,适合用于部署。2.分别使用L1范数剪枝方法、几何中位数剪枝方法、网络瘦身剪枝方法对修改后的YOLOX-S模型进行剪枝。对比相同剪枝比例下模型的精度、模型参数量、模型浮点运算次数等指标,结果表明网络瘦身剪枝方法在同剪枝比例下精度最高,参数压缩量最大,以0.5比例剪枝的模型精度比原模型还高0.44个百分点。另外,结合L1范数剪枝方法、几何中位数剪枝方法对网络瘦身剪枝后的模型再剪枝。结果表明压缩的参数量基本一致的情况下,结合使用两种剪枝方法比使用单一的剪枝方法剪枝的精度更高。3.将各个剪枝后的模型部署到Ultra96-V2 FPGA开发板上,并对比各个剪枝模型在Ultra96-V2开发板中的实际检测效果。结果表明使用网络瘦身剪枝方法以0.5比例剪枝检测效果最好。通过比较各个剪枝模型检测图片所需的时间,结果表明剪枝对加速模型的推理有明显作用,模型推理时间减少18.4%到26.6%不等。综上所述,本论文针对部署FPGA的平台对YOLOX进行了网络改造,并采用不同的剪枝方法对部署模型进行推理加速,并且提出和验证两种混合剪枝方法,相比使用单一的剪枝方法的达到了更高的检测精度。

关键词：目标检测网络剪枝 YOLOX FPGA