检索结果-南通市图书馆

浙江大学学报（理学版） 2024年第4期51卷 492-500页

作者：徐轶凡申烁林昊吴中行刘昊东南大学集成电路学院江苏无锡214000

近年来,卷积神经网络(convolutional neural networks,CNN)因其优异的检测与识别能力,在心电图(electrocardiogram,ECG)信号的诊断研究中备受瞩目。然而,CNN模型因参数规模和算力需求较大,难以用于资源受限的可穿戴嵌入式设备。虽然使... 详细信息

近年来,卷积神经网络(convolutional neural networks,CNN)因其优异的检测与识别能力,在心电图(electrocardiogram,ECG)信号的诊断研究中备受瞩目。然而,CNN模型因参数规模和算力需求较大,难以用于资源受限的可穿戴嵌入式设备。虽然使用剪枝技术可压缩网络规模,但稀疏化剪枝后权重的不规则分布使修剪后的网络模型依然存在无法高效处理非零数据的问题。为此,设计了一种高效的稀疏化卷积心律失常分类加速器。首先,采用多批次划分的稀疏压缩数据流方法提高计算效率;其次,设计了稀疏感知的计算阵列(processing element,PE)完成卷积运算,解决剪枝带来的负载不平衡问题。在现场可编程门阵列(field programmable gate array,FPGA)平台上的仿真结果显示,所设计的稀疏化卷积加速器在200 MHz时钟频率下的吞吐率为53.84GOP·s^(-1)、平均功耗为0.263 W、能效比为204.72 GOP·W^(-1)、五分类准确率达98%,相较于以往的稀疏化加速器,最高可以实现2.0~2.4倍的加速、4.5~6.1倍的能效比提升,适用于可穿戴的ECG分类设备。

关键词：可穿戴嵌入式设备非结构化剪枝卷积神经网络硬件加速器

来源：

维普期刊数据库博看期刊

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于稀疏神经网络的图像超分辨率重建算法

引用

计算机工程 2022年第7期48卷 247-253页

作者：黎浩民李光平广东工业大学信息工程学院广州510000

部分基于深度学习的图像超分辨率重建算法通过扩展网络层的深度来提高网络模型的整体特征表达能力。然而,一味过度地扩展网络的深度会造成网络模型过参数化和复杂化,并且冗余的网络参数会增加特征表达的不稳定性。在LTH剪枝算法基础上... 详细信息

部分基于深度学习的图像超分辨率重建算法通过扩展网络层的深度来提高网络模型的整体特征表达能力。然而,一味过度地扩展网络的深度会造成网络模型过参数化和复杂化,并且冗余的网络参数会增加特征表达的不稳定性。在LTH剪枝算法基础上改变权重参数并使用均衡学习策略,提出一种适用于图像超分辨率重建任务的神经网络非结构化剪枝算法RLTH。在不改变网络结构和不增加计算复杂度的前提下,通过搜索原始网络模型的最优稀疏子网络排除冗余参数带来的影响,在有限的参数资源中捕获更细粒度和丰富的图像特征,进而提高网络模型的整体特征表达能力。基于Set5、Set14和BSD100测试集的实验结果表明,与原始网络模型和应用LTH剪枝算法相比,应用RLTH算法获得的重建图像PSNR和SSIM均得到提升,且具有更丰富的细节特征,整体和局部轮廓更清晰。

关键词：单帧图像超分辨率重建神经网络非结构化剪枝深度学习稀疏网络

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

卷积神经网络剪枝技术的研究

卷积神经网络剪枝技术的研究

引用

作者：易啸国防科技大学

学位级别：硕士

卷积神经网络在图像识别、目标分割以及语音识别等领域取得了巨大的成功。随着算法的不断发展,卷积神经网络变得越来越深,越来越复杂,从而导致其计算量也在迅速增加。卷积神经网络的运行平台并不仅仅局限于数据中心的硬件加速器,在边缘... 详细信息

卷积神经网络在图像识别、目标分割以及语音识别等领域取得了巨大的成功。随着算法的不断发展,卷积神经网络变得越来越深,越来越复杂,从而导致其计算量也在迅速增加。卷积神经网络的运行平台并不仅仅局限于数据中心的硬件加速器,在边缘端设备上卷积神经网络算法也发挥着重大的作用。相较于数据中心而言,边缘端设备的计算性能和电能储备极其有限,因此很难将这些复杂的卷积神经网络模型部署至边缘端设备中。为了将卷积神经网络模型部署至边缘端设备中,研究人员采用剪枝算法对卷积神经网络进行稀疏化。在一定的模型稀疏度下,剪枝算法能产生准确率不降低的稀疏模型,从而大大地降低运行卷积神经网络所需要的计算量。剪枝技术可以分为结构化剪枝技术和非结构化剪枝技术。这两种剪枝技术都存在一定的缺点。一方面,现有结构化剪枝技术主要基于单一标准进行卷积核剪枝,而单一标准的剪枝技术并不一定能最大程度地分辨出卷积神经网络中不重要的卷积核,因此不能充分地进行剪枝。同时,在不损害模型准确率前提下,结构化剪枝技术产生的模型稀疏度远远地低于非结构化剪枝技术产生的模型稀疏度。另一方面,非结构化剪枝技术使得模型的参数矩阵是不规则的,导致这些稀疏模型在加速器上运行时面临着负载均衡的问题,严重限制了系统的性能和能效。本文针对上述问题进行了研究,主要贡献如下:(1)本文提出了一种基于功能相似性的卷积核剪枝技术,该剪枝技术能很好地对模型进行剪枝。本文进一步提出将这种剪枝技术与基于范数的卷积核剪枝技术相组合,对卷积神经网络进行剪枝,实验结果表明在相同的模型剪枝比例下,混合卷积核剪枝技术较单一标准卷积核剪枝技术能获得更高的模型准确率。(2)本文提出了一种负载均衡技术,能较好地提升稀疏模型在加速器上运行时的性能和能效。在此基础上,研究了不同剪枝策略产生的模型在运行时对加速器能耗和延迟的影响。实验结果表明,非结构化剪枝策略获得的稀疏模型在加速器上运行时能获得最大的能耗降低和延迟降低。

关键词：卷积神经网络结构化剪枝非结构化剪枝深度学习加速器

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于彩票假说的神经网络剪枝方法研究

基于彩票假说的神经网络剪枝方法研究

引用

作者：杨金凤吉林大学

学位级别：硕士

深度神经网络是一种通过从数据中学习参数的网络结构.近年来,由于在图片分类、目标检测、自然语言处理、语义分割等方面取得一系列突破性成果,深度神经网络受到了越来越广泛的关注.性能优越的神经网络通常都有着成功的架构设计,但同时... 详细信息

深度神经网络是一种通过从数据中学习参数的网络结构.近年来,由于在图片分类、目标检测、自然语言处理、语义分割等方面取得一系列突破性成果,深度神经网络受到了越来越广泛的关注.性能优越的神经网络通常都有着成功的架构设计,但同时其所包含的参数数量也相当庞大,训练时需要极大的内存开销及计算代价,因此难以在存储空间和功耗受限的嵌入式设备上应用.因而压缩已有的网络,使之在性能基本不变的条件下尽可能地减少参数数量和模型的大小就成为人们亟待解决的问题.于是人们提出了诸如剪枝、参数共享、知识蒸馏等模型压缩方法.剪枝是一类操作简单且使用方便的方法.剪枝指的是,在保证网络性能不下降或者下降概率在可接受范围内时将网络一些不重要的结构或者参数删除掉.剪枝可以分为非结构化剪枝和结构化剪枝.现有的剪枝方法要先训练出一个大型的网络,然后对这个复杂的网络进行处理,减少其参数数量和计算量,以达到压缩原有模型的目的.那么能否在训练前就找到这个参数数量更少,而处理能力又不降低的模型呢?针对这个问题,本文将用于非结构化剪枝的彩票假说引入到Batch Norm层的通道剪枝方法中,构建了新的网络压缩模型.并就fine-tune（剪枝后剩余的参数不变,直接进行训练）、winning ticket（将剪枝后剩余的参数返回至训练前随机初始化的数值）和random init（对剩余参数进行随机初始化）这三种参数调整方式对结构化剪枝和非结构化剪枝两种剪枝方式分别进行了实验,研究了网络结构和参数与压缩方法之间的关系,得到如下结论:1.对于基于参数绝对值大小进行的非结构化剪枝,剪枝率小于80%时winning ticket的测试精度要明显高于fine-tune和random init,这说明非结构化剪枝方法,在网络训练前,参数随机初始化之后,将一些无用的网络进行直接剪枝并进行训练,可以得到能力较强的网络;2.对于根据Batch Norm层因子进行通道剪枝的结构化剪枝,在剪枝率小于80%时,winning ticket的表现不如random init,但是相对来说,二者都比fine-tune的网络测试精度高.这说明对于结构化剪枝,剪枝后得到的网络结构要比剩余的训练得出的参数数值更重要;3.经过剪枝后的网络,有可能比原来的网络精确度更高,这说明剪枝操作可以有效缓解网络的过拟合问题.综上所述,对结构化和非结构化两种不同的剪枝方式,采用不同的参数调整方法所训练的网络性能不同.这些结论对于网络模型压缩中各个环节不同处理方式的最佳组合选择提供了有益的参考.

关键词：深度学习模型压缩结构化剪枝非结构化剪枝彩票假说

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于异构计算平台的深度卷积神经网络加速方法研究

基于异构计算平台的深度卷积神经网络加速方法研究

引用

作者：王子潇北京交通大学

学位级别：硕士

基于深度卷积神经网络(Deep Convolutional Neural Network,DCNN)的算法在计算机视觉领域拥有至关重要的地位,相比与传统算法,其针对图像分类、目标检测、实例分割等任务均具有更高的准确率,成为近年来学术和工业界的主要研究方向。然而... 详细信息

基于深度卷积神经网络(Deep Convolutional Neural Network,DCNN)的算法在计算机视觉领域拥有至关重要的地位,相比与传统算法,其针对图像分类、目标检测、实例分割等任务均具有更高的准确率,成为近年来学术和工业界的主要研究方向。然而,由于DCNN固有的高计算负载、高参数量的属性,针对功耗、存储限制较为严苛的场景,实现高吞吐率、低延时的推理运算仍然面临诸多挑战。本论文提出了一种针对现场可编程门阵列(Field-Programmable Gate Array,FPGA)与中央处理器(Central Processing Unit,CPU)组成的异构计算平台的软、硬件协同设计方法。本文的主要贡献如下:(1)在硬件设计层面,本文设计了一种基于CPU+FPGA异构计算平台的神经网络加速器。该加速器基于异步计算卷积内核的思想,成功将ABM-Sparse算法拓展到基于CNN的目标检测领域。该加速器可根据高吞吐率、低延时等不同检测场景,灵活切换异构工作模式。(2)在算法设计层面,本文设计了一套基于Roofline模型的端到端的CNN优化引擎。引擎中包含一种新提出的基于Roofline模型的剪枝算法,新提出的剪枝算法从如何发挥FPGA最高计算效率的角度重新审视了前人的工作,以计算机体系结构中经典的Roofline模型为依据,保证算法层面的剪枝可以带来更高的硬件部署增益。同时,引擎对传统的CNN模型压缩算法进行了改进和集成,可实现基于软硬件协同设计思路的端到端的CNN模型压缩。(3)本文并设计了一套自动化硬件设计空间探索引擎。可以实现由优化后CNN模型到FPGA硬件部署的自动化设计空间探索流程,并实现了一套可进行算法实时加速的FPGA演示平台。在众多基于DCNN的算法中,You Only Look Once(YOLO)系列算法展现出了在检测准确率和检测速度上的很好平衡,本文使用YOLOv2算法作为评估设计有效性的标准。实验结果表明,针对高吞吐率需求的场景,本文的设计可在Intel Arria-10 GX1150 FPGA上实现2.27万亿次操作/秒(Tera Operations Per Second,TOPS)的吞吐率,达78.7帧/秒(Frames Per Second,FPS);针对低延迟需求的场景,本文的设计可在同平台上实现24毫秒的单帧推理延时,达41.7 FPS。同时,YOLOv2模型最终部署的平均精度均值(mean Average Precision,m AP)在VOC2007上达到74.45%,相比官方全精度模型(m AP 76.8%)的准确率损失控制在3个百分点以内。

关键词：深度卷积神经网络非结构化剪枝 FPGA 异构计算目标检测

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：