检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

医学图像特征相似度度量的网络压缩研究

通化师范学院学报 2024年第4期45卷 65-72页

作者：杨东海许淑茹漳州卫生职业学院福建漳州363000

为提高深度学习网络迁移应用于医学图像领域的性能,针对通道间相互独立剪枝压缩网络导致模型性能下降的问题,采用峰值信噪比方法对网络层内部及网络层之间的特征激活图进行相似度度量,整体评价层内及层间通道的重要性.首先,对医学图像... 详细信息

为提高深度学习网络迁移应用于医学图像领域的性能,针对通道间相互独立剪枝压缩网络导致模型性能下降的问题,采用峰值信噪比方法对网络层内部及网络层之间的特征激活图进行相似度度量,整体评价层内及层间通道的重要性.首先,对医学图像进行预处理,采用峰值信噪比法度量预处理后图像与网络的各节点汇合层的相似度确定迁移网络深度.其次,对同一层内特征和不同层间的特征进行特征相似度度量并按照度量结果进行排序.最后,通过特征度量结果和期望压缩系数对网络进行压缩.实验结果表明:采用特征相似度度量对迁移网络通道剪枝仅小幅降低性能就能有效进行网络压缩.因此采用峰值信噪比法度量特征相似度可以作为通道剪枝的判断依据.

关键词：医学图像相似度度量通道剪枝网络压缩

在线全文

学校读者我要写书评

暂无评论

基于混合机制的深度神经网络压缩算法

计算机应用 2023年第9期43卷 2686-2691页

作者：赵旭剑李杭霖西南科技大学计算机科学与技术学院四川绵阳621010

近年来人工智能(AI)应用飞速发展,嵌入式设备与移动设备等有限资源设备对深度神经网络(DNN)的需求急剧增加。如何在不影响DNN效果的基础上对神经网络进行压缩具有极大理论与现实意义,也是当下深度学习的热门研究话题。首先,针对DNN因模... 详细信息

近年来人工智能(AI)应用飞速发展,嵌入式设备与移动设备等有限资源设备对深度神经网络(DNN)的需求急剧增加。如何在不影响DNN效果的基础上对神经网络进行压缩具有极大理论与现实意义,也是当下深度学习的热门研究话题。首先,针对DNN因模型大、计算量大而难以移植至移动设备等有限资源设备的问题,深入分析已有DNN压缩算法在内存占用、运行速度及压缩效果等方面的实验性能,从而挖掘DNN压缩算法的影响要素;然后,设计学生网络和教师网络组成的知识迁移结构,融合知识蒸馏、结构设计、网络剪枝和参数量化机制,提出基于混合机制的DNN优化压缩算法。在mini-ImageNet数据集上以AlexNet为Benchmark,进行实验比较与分析。实验结果表明,所提算法在压缩结果的准确率降低6.3%的情况下,使压缩后的AlexNet的容量减小98.5%,验证了所提算法的有效性。

关键词：深度神经网络网络压缩网络剪枝知识蒸馏参数量化

基于剪枝的卷积神经网络压缩算法的研究和应用

在线全文

学校读者我要写书评

暂无评论

基于剪枝的卷积神经网络压缩算法的研究和应用

作者：浮宗慧厦门理工学院

学位级别：硕士

近年来,深度学习技术发展迅速,其中以卷积神经网络(CNN)为代表的深度学习网络在各个领域都得到了广泛的应用。但是由于其参数量过大,占用内存高且计算负担沉重,很难直接应用于计算资源有限的硬件平台上,这为深度学习在终端领域的应用普... 详细信息

近年来,深度学习技术发展迅速,其中以卷积神经网络(CNN)为代表的深度学习网络在各个领域都得到了广泛的应用。但是由于其参数量过大,占用内存高且计算负担沉重,很难直接应用于计算资源有限的硬件平台上,这为深度学习在终端领域的应用普及带来了重大挑战。为了进一步提高深度学习网络的实用性,研究人员尝试将深度学习网络压缩到嵌入式平台中。其中卷积核剪枝方法旨在通过评估和删除整个冗余卷积核,将剪枝后的紧凑模型与硬件平台兼容,因此被广泛用于卷积神经网络的压缩与加速。值得一提的是,软剪枝(SFP)方法由于直接将需要剪枝的卷积核权重值设置为零从而避免破坏网络结构受到了越来越多的关注。为了能更好地提升卷积神经网络的性能,本文基于软剪枝的思想对模型压缩方法进行研究,论文主要工作为:(1)提出了一种平滑软剪枝方法。该方法在训练过程中通过权重逐渐衰减策略,迫使L2范数值较小的卷积核的权重逐渐衰减为零,给予网络更多的机会适应其结构的变化,从而在一定程度上保留卷积核的预训练信息。该方法不同于传统软剪枝方法直接将卷积核权重置零,易导致网络参数发生较大变化进而影响预训练网络先验知识继承造成信息丢失。通过在多个数据集上使用该方法对不同深度的网络进行实验,均取得了较好性能。具体而言,在KSDD数据集上对Res Net-20的剪枝率为60%时,本文方法相比传统软剪枝方法提升了1.92%的准确率,实现了较好的模型压缩效果。(2)提出了一种结合聚类和平滑软剪枝的混合剪枝方法。由于平滑软剪枝方法只对网络模型中L2范数值较小的卷积核进行剪枝,没有考虑到卷积核间的相似性,而这些冗余特征也会影响卷积神经网络的性能。因此本文在平滑软剪枝方法的基础上引入了聚类算法,进一步去除网络中的冗余卷积核。其中,在CIFAR-10数据集上,混合剪枝方法将Res Net-56减少了58.2%的FLOPs,且相比平滑软剪枝方法提升了0.16%的准确率。通过实验验证,该混合剪枝方法比平滑软剪枝方法在提高被压缩模型的性能方面更有优势。(3)设计并实现了一个基于剪枝加速算法的缺陷检测应用系统。结合本文提出的混合剪枝算法,通过使用Py Qt5工具包实现了一个用于检测金属表面缺陷的应用系统。该系统主要包括数据预处理、模型训练和剪枝及检测识别等功能,并借助训练得到的压缩模型来实现快速检测识别。通过多次测试,该系统使用本文剪枝算法训练得到的压缩模型在完成检测功能的前提下,比未压缩的原始模型消耗的检测时间更少,体现了本文网络压缩算法的可行性以及在工业中的应用价值。

关键词：卷积神经网络网络压缩卷积核剪枝软剪枝

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于网络压缩的轻量化智能无线感知方法研究

基于网络压缩的轻量化智能无线感知方法研究

作者：孙也大连海事大学

学位级别：硕士

智能无线感知是一种新兴的感知技术,它可以赋予传统无线通信网络感知能力。这使得无线网络能够感知周围目标的状态信息,如位置、活动、手势和生命体征等。与基于光学、声学和穿戴设备的传统感知方法相比,该技术可以在复杂的环境中以一... 详细信息

智能无线感知是一种新兴的感知技术,它可以赋予传统无线通信网络感知能力。这使得无线网络能够感知周围目标的状态信息,如位置、活动、手势和生命体征等。与基于光学、声学和穿戴设备的传统感知方法相比,该技术可以在复杂的环境中以一种不涉及隐私泄露的方式进行感知。随着感知技术的不断发展,该技术在医疗养老、智能交互和自动驾驶等领域都具有广阔的应用前景。近年来,得益于深度学习出色的从无线信号中提取特征的能力,其已经成为各种智能无线感知系统中的重要组成部分。然而,深度学习是一种以大量数据驱动的技术,其复杂的算法带来的庞大的计算量对部署平台的计算能力和存储空间提出了严格的要求。现实中大量的无线设备部署在周围,由于尺寸、功率和成本因素,这些无线设备的计算能力和存储空间通常非常有限。因此,如何在这些计算和存储资源有限的物联网设备上开发一种轻量级的无线感知系统成为亟待解决的重要问题。本文探索和开发实现基于网络压缩的轻量化智能无线感知系统的方法。首先,针对已训练的神经网络中仍存在大量冗余参数的问题,本文提出了一种基于网络剪枝和网络量化的轻量化智能无线感知技术。先利用泰勒公式去近似损失函数的变化以此评估网络中每一个神经元的重要性,并剔除不重要的神经元。再根据整数比浮点数计算速度快和存储需求少的特点,将网络的参数由原本的浮点数转化为整数,提升网络推论速度并降低资源需求。然后,针对部署感知系统的设备和感知环境的多样性导致网络结构设计困难和感知性能下降的问题,本文提出了基于网络架构搜索和对抗学习的轻量化智能无线感知技术。先利用基于模拟退火算法的网络架构搜索技术设计出满足性能需求及计算资源约束的精简网络结构。再引入对抗学习,基于设计出来的网络架构,在训练的过程中引导网络专注学习域不变信息,提升感知系统的识别精度和对环境的鲁棒性。本文基于24GHz和60GHz毫米波雷达构建的实验平台,分别设计了手语、手势识别实验以及跌倒检测实验,验证了基于网络剪枝和网络量化的轻量化智能无线感知技术与基于网络架构搜索和对抗学习的轻量化智能无线感知技术的有效性。大量的实验结果表明,本文所提出的两种基于网络压缩的轻量化智能无线感知技术能在满足感知性能的前提下,显著降低了网络的计算需求和存储需求,进而构建出高性能的轻量化智能无线感知系统。

关键词：无线感知深度学习手势识别跌倒检测网络压缩

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于结构化剪枝的深度卷积神经网络压缩研究

基于结构化剪枝的深度卷积神经网络压缩研究

作者：张雪聪辽宁工程技术大学

学位级别：硕士

近年来,随着深度卷积神经网络的层数和复杂度不断增加,所需的计算量和内存逐渐增大,其在如手机端等资源受限的设备上的部署受到了严峻的挑战。为了减少网络中冗余参数的出现,网络压缩技术被提出,其中的结构化剪枝方法能够较好地继承原... 详细信息

近年来,随着深度卷积神经网络的层数和复杂度不断增加,所需的计算量和内存逐渐增大,其在如手机端等资源受限的设备上的部署受到了严峻的挑战。为了减少网络中冗余参数的出现,网络压缩技术被提出,其中的结构化剪枝方法能够较好地继承原始网络的通用性。但目前的结构化剪枝多依赖于预训练模型和掩膜操作,依赖预训练模型的方法容易造成剪枝流程过长、模型性能下降严重的问题,依赖掩膜操作的方法在训练过程中并没有实际减少所需计算成本。为此,本文提出一种以信息融合策略为核心的结构化剪枝方法。首先,为了优化滤波器重要性评价函数,引入滤波器的信息熵概念以消除基于范数准则的滤波器表征方法的局限性,使用带有温度系数的softmax函数扩大滤波器间的差异,并使用相对熵函数判别滤波器的重要性;其次,为了增加剪枝策略的容错性,设计信息融合策略分别以不同比例将重要和非重要滤波器组的信息融合成新滤波器;最后,为了降低训练成本,设计了一种在训练中动态剪枝的结构化剪枝框架,仅需一次训练就可以得到最终的轻量化模型,并且训练过程中使用新滤波器推理大大降低了训练所需的时间成本。为了验证本文方法的有效性,分别在CIFAR-10、CIFAR-100和Garbage数据集上与近年来提出的结构化剪枝方法进行了VGG16、Res Net56、Res Net110网络的剪枝对比实验。实验结果表明:本文方法在模型容量、模型性能以及时间消耗三类指标的综合角度上取得了优异的效果,其中在CIFAR-10上的VGG16剪枝任务中消耗0.40小时得到了模型参数量和FLOPs分别减少92.73%、76.83%的压缩模型,而准确率几乎没有损失,同时在笔记本端以及智能手机端分别得到73.33%和96.50%的推理加速。该论文有图31幅,表21个,参考文献72篇。

关键词：深度卷积神经网络网络压缩信息融合策略信息熵推理加速

基于贝叶斯框架下张量分解的深度卷积网络压缩方法和实现研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于贝叶斯框架下张量分解的深度卷积网络压缩方法和实现研究

作者：张志强兰州理工大学

学位级别：硕士

近年来,随着软件算法和硬件算力的飞速发展,各种网络模型得到广泛应用。但随着网络性能不断提升,层数也在不断加深,导致网络的空间占用率和计算复杂度成为不可忽略的问题,这极大的限制了模型在资源受限设备中的部署。由于网络压缩可以... 详细信息

近年来,随着软件算法和硬件算力的飞速发展,各种网络模型得到广泛应用。但随着网络性能不断提升,层数也在不断加深,导致网络的空间占用率和计算复杂度成为不可忽略的问题,这极大的限制了模型在资源受限设备中的部署。由于网络压缩可以对网络中冗余参数进行有效压缩,以达到降低参数量和计算复杂度的目的,成为国内外众多学者的研究新热点。本文在深入分析了网络压缩领域中现有压缩技术的基础上,结合张量分解相关理论,对低秩分解中存在的秩选取困难等关键问题进行深入研究。面向模型部署的实际需求,提出了两种基于张量分解的网络压缩方法和一种基于模型封装的应用系统,取得的主要创新性研究成果如下:1.首先系统地梳理和分析深度卷积网络及优化方法、张量分解理论、基于约束优化的压缩框架和最优秩选取方法,然后进一步归纳出BTD分解存在选秩困难、传统学习率可能陷入局部极小、TT和Tucker分解各自存在不足使精度和压缩率不能有效兼顾、间接压缩无法获得最优压缩模型、预训练过程使得压缩步骤复杂、秩选取存在不合理情况、代码操作及重建环境使模型迁移复杂等问题,并列举出相关的研究动机,为后续研究指明方向。2.针对BTD分解存在秩选取困难及传统学习率可能陷入鞍点和局部极小等问题,深入分析了BTD分解机理和现有选秩方法对BTD分解、学习率优化方法对模型精度的影响,借鉴贝叶斯规则求取全局解析解、循环学习率有效避免陷入局部极小的方法,提出一种基于贝叶斯优化的块项分解压缩深度卷积网络方法。该方法通过Bayes Opt求解全局解析解,并采用Cos循环学习率,以保证模型性能的同时增加分解和泛化能力。结果表明,在图像分类任务中,所提方法可以保证更好的精度,同时实现更高的压缩率。3.针对TT分解和Tucker分解各自存在不足使得精度和压缩率不能有效兼顾、间接压缩无法获得最优压缩模型、预训练过程使得步骤繁琐、秩选取不合理等问题,深入分析了TT和Tucker各自的优点,参考约束优化可求取最优模型、贝叶斯规则可求取全局解析解的方法,提出基于TT-Tucker的无预训练LC压缩卷积神经网络网络压缩方法(A TT-Tucker-based LC compression convolutional neural network method without pre-training,T-TLC)。该方法采用TT-Tucker复合型分解方法、在LC(Learning-compression constraint compression algorithm,LC)框架中去除预训练、引入EVBMF和Bayes Opt选取TT和Tucker的最优秩,此外本方法采用了指数衰减的循环学习率优化方法,最终保证模型可以在简化步骤的同时,获得良好的精度和压缩率。结果表明,在图像分类任务中,所提方法相对于其他方法简化了压缩过程的步骤,并实现了更优的精度和压缩率。4.针对代码操作及重建环境使模型迁移复杂等问题,深入学习了模型封装和GUI界面开发相关知识,运用pyinstaller可封装依赖包和Tkinter设计可视化界面等相关功能,开发了基于CNN模型压缩的封装系统。该系统包含参数配置说明书、登录界面、模型封装交互主界面和参数配置界面,可以简化模型部署的环境配置和操作的难度,使模型在不同设备迁移过程中的操作便捷高效。最终通过系统调试和运行实验验证了本系统的有效性,为将模型部署于移动设备中奠定基础。

关键词： CNN网络网络压缩张量分解贝叶斯优化变分贝叶斯图像分类模型封装

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于多尺度几何分析的复杂网络压缩策略

电子与信息学报 2009年第4期31卷 968-972页

作者：王晓华杨新艳焦李成西安电子科技大学智能信息处理研究所西安710071 苏州大学电子信息学院苏州215021

自然界许多系统都具有多尺度效应,人们对系统的观察或测量也往往是在不同尺度上进行的。复杂网络可视为描述复杂系统的抽象模型,多尺度几何分析提供一种有效刻画复杂系统结构由粗到细的显微镜策略。该文从多尺度几何分析的角度对复杂网... 详细信息

自然界许多系统都具有多尺度效应,人们对系统的观察或测量也往往是在不同尺度上进行的。复杂网络可视为描述复杂系统的抽象模型,多尺度几何分析提供一种有效刻画复杂系统结构由粗到细的显微镜策略。该文从多尺度几何分析的角度对复杂网络压缩问题进行了有益的尝试,提出一种有效的网络压缩策略。策略分析及通过对不同拓扑类型的网络仿真表明基于多尺度几何分析的复杂网络压缩策略是可行的,能有效地帮助人们通过尽可能少的信息来分析、刻画大型复杂网络,实现网络数据及结构的稀疏表示。

关键词：复杂网络多尺度几何分析网络压缩稀疏表示

在线全文

学校读者我要写书评

暂无评论

基于结构冗余性校准的在线式社会网络压缩

计算机研究与发展 2013年第12期50卷 2504-2519页

作者：杨海陆张健沛杨静哈尔滨工程大学计算机科学与技术学院哈尔滨150001

随着社交网络、移动互联网等新兴服务的不断涌现,在线社会网络正以前所未有的速度增长并且呈现出极强的演化特性.网络压缩技术能够将大规模网络压缩成规模更小、结构信息更简洁的网络,在数据存储和网络可视化领域发挥着重要作用.现有的... 详细信息

随着社交网络、移动互联网等新兴服务的不断涌现,在线社会网络正以前所未有的速度增长并且呈现出极强的演化特性.网络压缩技术能够将大规模网络压缩成规模更小、结构信息更简洁的网络,在数据存储和网络可视化领域发挥着重要作用.现有的压缩算法为了优化压缩损失,重复比对原始网络与压缩网络之间的差异导致过高的时间开销,并且算法仅局限于静态网络,无法满足在线社会网络的演变要求.针对上述问题,提出一种解决演化网络压缩问题的高效算法,首先设计了基于局部化判定的结构合并贡献函数及其快速调整算法,将网络的首次压缩复杂度控制在O(n)到O(mn)之间;其次,设计了一种面向演化网络压缩的动态校准算法,参照网络演化前后拓扑结构的变化,校准前一时刻的压缩表达以避免网络的重复压缩,在满足在线社会网络演变要求的同时提高了压缩效率;最后,通过对真实数据集的实验分析,验证了算法的有效性.

关键词：在线社会网络网络压缩结构合并贡献损失优化压缩表达校准

在线全文

学校读者我要写书评

暂无评论

基于剪枝的卷积神经网络压缩算法综述

中国基础科学 2022年第3期24卷 54-62页

作者：王兆丰年欧中洪宋美娜北京邮电大学计算机学院(国家示范性软件学院) 北京100876

近年来,随着深度学习技术的飞速发展,卷积神经网络(CNN)变得越来越流行,应用范围也日益广泛。为提高模型准确性,CNN逐渐增加网络的深度和宽度,导致网络结构逐渐膨胀,现有的深度神经网络通常拥有数百万甚至上千万个参数,需要耗费大量的... 详细信息

近年来,随着深度学习技术的飞速发展,卷积神经网络(CNN)变得越来越流行,应用范围也日益广泛。为提高模型准确性,CNN逐渐增加网络的深度和宽度,导致网络结构逐渐膨胀,现有的深度神经网络通常拥有数百万甚至上千万个参数,需要耗费大量的计算和存储资源。在计算能力受限的移动设备(如智能手机或平板电脑)上部署和运行深度神经网络,面临巨大挑战。这亟须一种可在有限计算能力设备上提高运行效率且不影响精度的方法。神经网络压缩是在不影响计算精度的前提下,减小网络规模并提高存储效率的一类有效方法,近些年得到广泛关注和应用。神经网络压缩包括多个分支,本文对基于剪枝的神经网络压缩算法进行全面论述,针对剪枝算法现有的分类法进行更详细的分类展开,并进行系统描述;将调查的文献按分类法进行归纳总结,详细论述每个工作的主要贡献;针对目前剪枝算法的特点和不足,对其未来发展趋势展开讨论。

关键词：深度学习卷积神经网络网络压缩剪枝算法