检索结果-南通市图书馆

基于模型剪枝动态调整压缩率的CSI反馈方法

在线全文

学校读者我要写书评

暂无评论

系统工程与电子技术 2023年第8期45卷 2615-2622页

作者：邵凯杜自群王光宇重庆邮电大学通信与信息工程学院重庆400065 教育部移动通信工程研究中心重庆400065 移动通信技术重庆市重点实验室重庆400065

针对现有基于深度学习(deep learning,DL)的信道状态信息(channel state information,CSI)反馈方案只能以固定压缩率(compression rate,CR)进行压缩反馈的问题,提出了一种基于模型结构化剪枝动态调整CR的CSI反馈方案。首先设计了残差信... 详细信息

针对现有基于深度学习(deep learning,DL)的信道状态信息(channel state information,CSI)反馈方案只能以固定压缩率(compression rate,CR)进行压缩反馈的问题,提出了一种基于模型结构化剪枝动态调整CR的CSI反馈方案。首先设计了残差信道特性注意(residual channel characteristic attention,RCCA)机制,并搭建了CSI反馈网络RCCA-Net,充分利用复信道矩阵实部虚部间的幅度相位依赖关系,进一步提高CSI反馈-重建质量。其次设计了RCCA-Prune方案,并以2范数评估各神经元对最终结果的贡献度,通过模型结构化剪枝技术删除贡献度较小的神经元以实现CR的动态调整。仿真结果表明,所提的动态调整CR方案在不同CR下均有较佳的反馈性能,且在不同的测试环境中具有良好的泛化性。

关键词：信道状态信息深度学习模型剪枝通道注意力

在线全文

学校读者我要写书评

暂无评论

图像识别中的深度学习模型剪枝技术

南京理工大学学报 2023年第5期47卷 699-707页

作者：张玉武海林凡超黄福玉刘毅志郑州师范学院信息科学与技术学院河南郑州450044 中国科学技术大学信息科学技术学院安徽合肥230026 北京中科研究院北京100094 湖南科技大学计算机科学与工程学院湖南湘潭411201

为了探索用少量的图像数据指导模型剪枝,同时缩短确定裁剪哪些卷积核的时间,该文提出了一种基于卷积核输出特征图的和值的期望进行模型剪枝的策略。将少量的图像输入剪枝前的深度学习模型中,将同一层卷积核输出的特征图根据和值的期望... 详细信息

为了探索用少量的图像数据指导模型剪枝,同时缩短确定裁剪哪些卷积核的时间,该文提出了一种基于卷积核输出特征图的和值的期望进行模型剪枝的策略。将少量的图像输入剪枝前的深度学习模型中,将同一层卷积核输出的特征图根据和值的期望进行排序,按照一定的剪枝率剪去较小期望值对应的卷积核。根据该文提出的模型剪枝策略,在3个通用的公开数据集CIFAR-10、CIFAR-100、ILSVRC-2012上进行了测试,并与目前主流的一些模型剪枝算法进行了对比。实验证明,该文提出的模型剪枝策略在VGG-16-BN上参数量压缩87.3%,每秒浮点运算次数(FLOPs)压缩78.6%,该模型在CIFAR-10上仍能达到93.19%的分类识别精度。在CIFAR-100数据集上,模型剪枝策略在ResNet-56上FLOPs压缩67%,仍能达到67.96%的分类识别精度。

关键词：深度学习图像识别模型剪枝特征图的和值期望

基于模型剪枝的有色金属破碎料机器视觉分选方法优化

在线全文

学校读者我要写书评

暂无评论

机械设计 2023年第11期40卷 8-14页

作者：董寰宇秦训鹏丁吉祥武汉理工大学汽车工程学院湖北武汉430070

对破碎料图像进行准确、快速识别是实现有色金属破碎料实时分选的基础,文中基于YOLOv3模型,以BN层缩放因子为衡量指标对模型进行剪枝,剪切对运算结果没有影响的冗余通道,减少了卷积神经网络的参数量及计算量,实现了模型压缩。试验在生... 详细信息

对破碎料图像进行准确、快速识别是实现有色金属破碎料实时分选的基础,文中基于YOLOv3模型,以BN层缩放因子为衡量指标对模型进行剪枝,剪切对运算结果没有影响的冗余通道,减少了卷积神经网络的参数量及计算量,实现了模型压缩。试验在生产现场采集的金属破碎料图像上进行,采用F1-Score、平均精度均值、浮点运算数、网络参数量和FPS作为评价指标,定量研究了模型压缩率对模型性能的影响。最终优化后,模型平均精度均值上升至97.1%,F1-Score为96.8%,参数量实现了70.4%的压缩率,浮点运算数降为原模型的44.5%,FPS上升40.4%,减少了模型运行计算量消耗和内存占用,加快了计算速度,能更好地满足工业生产中有色金属破碎料分选的需求。

关键词：深度学习模型剪枝有色金属图像处理

基于知识蒸馏和模型剪枝的轻量化模型植物病害识别

在线全文

学校读者我要写书评

暂无评论

浙江农业学报 2023年第9期35卷 2250-2264页

作者：刘媛媛王定坤邬雷黄德昌朱路华东交通大学信息工程学院江西南昌330013

深度学习为植物病害识别提供了新方法,但是目前大多数深度学习模型的参数众多,难以在存储和计算资源受限的智能手机或嵌入式传感器节点等边缘设备上使用。为此,以植物叶片为研究对象,基于知识蒸馏和模型剪枝方法开展基于轻量化模型的植... 详细信息

深度学习为植物病害识别提供了新方法,但是目前大多数深度学习模型的参数众多,难以在存储和计算资源受限的智能手机或嵌入式传感器节点等边缘设备上使用。为此,以植物叶片为研究对象,基于知识蒸馏和模型剪枝方法开展基于轻量化模型的植物病害识别研究。首先,改进ResNet模型,在知识蒸馏中引入一个或多个助教网络训练模型;然后,经过稀疏化训练后,利用模型剪枝获得轻量化的学生网络模型;接着,使用助教网络和学习率倒带重训练该学生网络模型,在减小模型规模的同时保证模型的性能。结果表明:在包含14种植物共38个类别的数据集上,将模型剪枝90%后,模型准确率为97.78%,比原模型提高1.49百分点;在包含5个类别苹果叶的数据集上,将模型剪枝70%后,模型准确率为91.94%,比原模型提高4.85百分点。提出的轻量化模型能够移植在Android平台上并有效运行,可为嵌入式终端精准识别植物病害提供新方案。

关键词：病害识别模型剪枝知识蒸馏学习率倒带残差网络

模型剪枝与低精度量化融合的DNN模型压缩算法

在线全文

学校读者我要写书评

暂无评论

电讯技术 2020年第6期60卷 617-624页

作者：吴进杨雪胡怡青西安邮电大学电子工程学院西安710121

拥有庞大参数量的网络模型很难部署在智能手机、可穿戴智能设备等资源受限的移动设备上。从深度神经网络模型的基本原理出发,在现有压缩算法的基础上,采用优化剪枝策略与参数量化的方法相融合,提出了一种结果导向的数据驱动剪枝算法,利... 详细信息

拥有庞大参数量的网络模型很难部署在智能手机、可穿戴智能设备等资源受限的移动设备上。从深度神经网络模型的基本原理出发,在现有压缩算法的基础上,采用优化剪枝策略与参数量化的方法相融合,提出了一种结果导向的数据驱动剪枝算法,利用低精度的量化算法来进一步压缩模型。使用VGGNet作为原始模型,在Kaggle猫狗图像和Oxford102植物样本集上进行微调。实验数据表明,使用本实验改进的方法,模型压缩的存储容量下降到113.1 MB,识别率提高到86.74%。

关键词：深度学习模型压缩模型剪枝参数量化

在线全文

学校读者我要写书评

暂无评论

基于多目标优化的车道线检测模型剪枝算法

传感器与微系统 2023年第7期42卷 125-127,131页

作者：翁佳昊秦永法唐晓峰张浩文关栋扬州大学机械工程学院江苏扬州225127

以车道线检测算法为例,对网络模型进行剪枝优化。首先,对模型进行正则化,初步提高模型参数的稀疏度。之后,建立以准确率变化量和模型参数变化量为目标的多目标优化函数,通过调节准确率变化权重系数和压缩权重系数得到不同目标下的最优... 详细信息

以车道线检测算法为例,对网络模型进行剪枝优化。首先,对模型进行正则化,初步提高模型参数的稀疏度。之后,建立以准确率变化量和模型参数变化量为目标的多目标优化函数,通过调节准确率变化权重系数和压缩权重系数得到不同目标下的最优模型。在剪枝过程中,按卷积层深度对各层设置不同的阈值系数,最后对优化后的模型进行重新训练得到最终模型。实验结果表明:准确率优先的优化模型在车道线检测数据集的准确率为92.47%,模型压缩比为42.8%;响应速度优先的优化模型在车道线检测数据集的准确率为90.75%,模型压缩比例为67.3%。根据不同的场景需求,算法能够有效地得到不同效果的剪枝优化模型。

关键词：深度学习车道线检测模型剪枝多目标优化

在线全文

学校读者我要写书评

暂无评论

模型剪枝算法综述

计算机与现代化 2022年第9期 51-59页

作者：李屹魏建国刘贯伟恒银金融科技股份有限公司天津300308 天津大学智能与计算学部天津300350

模型剪枝算法利用不同的标准或方式对深度神经网络中冗余神经元进行裁剪,在不损失模型精度的情况下对模型进行最大程度的压缩,从而可以减少存储并提升速度。首先,对模型剪枝算法的研究现状与主要研究方向进行总结并归类。主要研究方向... 详细信息

模型剪枝算法利用不同的标准或方式对深度神经网络中冗余神经元进行裁剪,在不损失模型精度的情况下对模型进行最大程度的压缩,从而可以减少存储并提升速度。首先,对模型剪枝算法的研究现状与主要研究方向进行总结并归类。主要研究方向包括剪枝的尺度、剪枝元素重要性评估的方法、剪枝的稀疏度、剪枝的理论基础及对于不同任务的剪枝等方面。然后对近年来具有代表性的剪枝算法进行详细描述。最后对此领域的研究提出未来展望。

关键词：模型剪枝深度学习通道阈值压缩

在线全文

学校读者我要写书评

暂无评论

融合弱层惩罚的卷积神经网络模型剪枝方法

计算机工程 2022年第5期48卷 67-73页

作者：房志远石守东郑佳罄胡加钿宁波大学信息科学与工程学院浙江宁波315211

深度卷积神经网络的存储和计算需求巨大,难以在一些资源受限的嵌入式设备上进行部署。为尽可能减少深度卷积神经网络模型在推理过程中的资源消耗,引入基于几何中值的卷积核重要性判断标准,提出一种融合弱层惩罚的结构化非均匀卷积神经... 详细信息

深度卷积神经网络的存储和计算需求巨大,难以在一些资源受限的嵌入式设备上进行部署。为尽可能减少深度卷积神经网络模型在推理过程中的资源消耗,引入基于几何中值的卷积核重要性判断标准,提出一种融合弱层惩罚的结构化非均匀卷积神经网络模型剪枝方法。使用欧式距离计算各层卷积核间的信息距离,利用各卷积层信息距离的数据分布特征识别弱层,通过基于贡献度的归一化函数进行弱层惩罚,消除各层间的差异性。在全局层面评估卷积核重要性,利用全局掩码技术对所有卷积核实现动态剪枝。在CIFAR-10、CIFAR-100和SVHN数据集上的实验结果表明,与SFP、PFEC、FPGM和MIL剪枝方法相比,该方法剪枝得到的VGG16单分支、Resnet多分支、Mobilenet-v1轻量化网络模型在保证精度损失较小的情况下,有效地减少了模型参数量和浮点操作数。

关键词：模型剪枝弱层惩罚全局掩码欧式距离核重要性评估

在线全文

学校读者我要写书评

暂无评论

基于注意力机制的心电信号分类模型剪枝方法

基于注意力机制的心电信号分类模型剪枝方法

作者：周子儒中国医科大学

学位级别：硕士

目的:随着心电分类模型的精度和准确度越来越高,深度学习模型在心电分类上的应用也变得越来越复杂。现今在便携式心电检测设备等终端上部署模型的需求也已十分普遍,由于这类设备上资源有限,分类模型占存大、运行速度慢等问题凸显,因此... 详细信息

目的:随着心电分类模型的精度和准确度越来越高,深度学习模型在心电分类上的应用也变得越来越复杂。现今在便携式心电检测设备等终端上部署模型的需求也已十分普遍,由于这类设备上资源有限,分类模型占存大、运行速度慢等问题凸显,因此需要对深度神经网络模型进行化简。而对模型进行剪枝会导致心电分类模型的性能受到影响,为使心电分类模型在被压缩后的分类性能不受负面影响并有所提升,我们提出了基于注意力机制的剪枝方法。方法:本研究提出了基于注意力机制的心电分类模型剪枝算法PEAM。该方法在寻求滤波器之间的相关性时应用了注意力机制模块,该模块可以对相关性较小的滤波器进行剪枝,以此来获得更为精简、具有较小全局损失的压缩模型。本文使用五种常用剪枝算法作为对比,利用MIT-BIH数据库在基于VGG11、ResNet18和ResNet34的心电分类模型上分别进行剪枝前后的模型训练和测试,并利用CMUH数据库在ResNet18上验证了PEAM的泛化性。为了进一步探究剪枝算法对模型分类决策时的特征依据的影响,并本研究还对模型在剪枝前后进行了Score-CAM类激活映射图的结果对比。结果:本文提出的PEAM剪枝算法对比了其余五种剪枝算法,能够在对模型进行较好压缩的情况下获得更为优越的分类性能。PEAM在MIT-BIH数据库上对VGG11、ResNet18、ResNet34剪枝后的准确率分别为98.91%、98.75%和98.43%,F1值分别为99.05%、98.89%和98.71%。其中PEAM对ResNet18和ResNet34剪枝后的准确率和F1值均高于原模型。在CMUH数据库上对ResNet18剪枝后的准确率为97.63%,F1值为97.89%,也均高于原模型。PEAM经过Score-CAM类激活映射后的心电信号特征标注结果均比其余剪枝方法更接近于原模型的标注结果。结论:本文提出的基于注意力机制的心电分类模型剪枝算法PEAM,相较于其余剪枝算法,能够令剪枝后的模型获得更好的分类性能,且通过可视化结果可知PEAM剪枝算法对模型决策依据影响更小。这在推广便携式心电检测设备及帮助医生对心血管疾病做出临床诊断方面都具有重要意义。

关键词：深度学习模型剪枝注意力机制心电信号分类 Score-CAM