检索结果-南通市图书馆

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于轻量自蒸馏的低成本联邦学习

电子学报 2025年

作者：刘松罗杨宇许佳培张建忠南开大学计算机学院数据与智能系统安全教育部重点实验室南开大学网络空间安全学院

随着边缘计算的发展，深度学习模型的训练越发依赖于大量边缘设备生成的隐私数据.在此背景下，联邦学习因其突出的隐私保护能力而受到学术界和工业界的广泛瞩目.在实践中，联邦学习面临着因数据异质性和计算资源受限导致的训练效率低下... 详细信息

随着边缘计算的发展，深度学习模型的训练越发依赖于大量边缘设备生成的隐私数据.在此背景下，联邦学习因其突出的隐私保护能力而受到学术界和工业界的广泛瞩目.在实践中，联邦学习面临着因数据异质性和计算资源受限导致的训练效率低下和模型质量不理想的问题.本文受知识蒸馏理念的启发，提出一种采用轻量自蒸馏技术的高效联邦学习算法（efficient Federated learning with lightweight Self Knowledge Distillation,FedSKD），该算法首先利用自蒸馏技术挖掘训练过程中的内在知识，以减轻本地模型的过拟合问题并增强其泛化能力，并通过服务端参数聚合将本地模型的泛化能力转移到全局模型，从而提高全局模型质量和收敛速度.其次，通过动态同步机制，进一步提高全局模型的准确率和训练效率.实验结果表明，FedSKD算法在非独立同分布数据划分策略下，在降低训练代价的同时，提高了模型准确率和训练效率.在CIFAR10/100数据集上，与最新的基线算法FedMLD算法相比，FedSKD算法在准确率上取得了平均2%的提升，并降低了平均56%的训练代价.

关键词：联邦学习自蒸馏非独立同分布深度学习边缘计算

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于成分引导的多模态自蒸馏食品图像分割

中国食品学报 2024年第11期24卷 10-21页

作者：侯素娟孙月娟闵巍庆王瑞平蒋树强山东师范大学济南250358 中国科学院计算技术研究所北京100190

目的:随着计算机视觉技术的发展,精确地识别并分割食品图像中的不同成分区域,对于食品营养分析和促进饮食健康管理至关重要。然而,当前图像分割模型多依赖于单一图像输入,这一做法在处理视觉差异较小的食品图像时,往往难以捕捉到细微的... 详细信息

目的:随着计算机视觉技术的发展,精确地识别并分割食品图像中的不同成分区域,对于食品营养分析和促进饮食健康管理至关重要。然而,当前图像分割模型多依赖于单一图像输入,这一做法在处理视觉差异较小的食品图像时,往往难以捕捉到细微的区分特征,从而影响分割精度。本文旨在解决单一模态在分割任务中的不足,利用文本信息为模型提供更加丰富的上、下文信息,采用自蒸馏技术,引导模型对食品图像的有效分割。方法:提出一种基于成分信息引导的多模态自蒸馏分割模型。该模型采用对比语言文本预训练模型(CLIP)捕捉成分信息,再与图像知识有效融合,结合扩散模型在稠密预测方面的优势,实现对食品图像的精准分割。结果:在基准数据集FoodSeg103上验证,所提模型的评估指标mIoU达到47.93%,超越了当前最优的FoodSAM模型1.51个百分点。在基准数据集UEC-FoodPIX Complete上,模型的评估指标mIoU达到75.13%,比FoodSAM模型高8.99个百分点。结论 :所提出的多模态自蒸馏网络在食品图像分割任务中表现出色,验证了成分信息对分割任务的有效指导作用,提升了分割精度,为食品图像分析提供了新的解决方案。

关键词：食品图像图像分割多模态自蒸馏

一种基于信息熵迁移的文本检测模型自蒸馏方法

在线全文

学校读者我要写书评

暂无评论

自动化学报 2024年第11期50卷 2128-2139页

作者：陈建炜杨帆赖永炫厦门大学航空航天学院厦门361005 厦门大学深圳研究院深圳518057 厦门大学信息学院厦门361005

前沿的自然场景文本检测方法大多基于全卷积语义分割网络,利用像素级分类结果有效检测任意形状的文本,其主要缺点是模型大、推理时间长、内存占用高,这在实际应用中限制了其部署.提出一种基于信息熵迁移的自蒸馏训练方法(Self-distillat... 详细信息

前沿的自然场景文本检测方法大多基于全卷积语义分割网络,利用像素级分类结果有效检测任意形状的文本,其主要缺点是模型大、推理时间长、内存占用高,这在实际应用中限制了其部署.提出一种基于信息熵迁移的自蒸馏训练方法(Self-distillation via entropy transfer,SDET),利用文本检测网络深层网络输出的分割图(Segmentation map,SM)信息熵作为待迁移知识,通过辅助网络将信息熵反馈给浅层网络.与依赖教师网络的知识蒸馏(Knowledge distillation,KD)不同,SDET仅在训练阶段增加一个辅助网络,以微小的额外训练代价实现无需教师网络的自蒸馏(Self-distillation,SD).在多个自然场景文本检测的标准数据集上的实验结果表明,SDET在基线文本检测网络的召回率和F1得分上,能显著优于其他蒸馏方法.

关键词：自然场景文本检测知识蒸馏自蒸馏信息熵

多模态特征融合和自蒸馏的红外-可见光行人重识别

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

计算机辅助设计与图形学学报 2024年第7期36卷 1065-1076页

作者：万磊李华锋张亚飞昆明理工大学信息工程与自动化学院昆明650500

现有跨模态行人重识别方法大多挖掘模态不变的特征,忽略了不同模态内的具有判别性的自有特征.为了充分地利用不同模态内的自有特征,提出一种多模态特征融合和自蒸馏的红外-可见光行人重识别方法.首先提出一种基于双分类器的注意力融合机... 详细信息

现有跨模态行人重识别方法大多挖掘模态不变的特征,忽略了不同模态内的具有判别性的自有特征.为了充分地利用不同模态内的自有特征,提出一种多模态特征融合和自蒸馏的红外-可见光行人重识别方法.首先提出一种基于双分类器的注意力融合机制,为各模态的自有特征赋予较大的融合权重,共有特征赋予较小的融合权重,得到含有各模态判别性自有特征的多模态融合特征;为了提升网络特征的鲁棒性以适应行人外观的变化,构建一个记忆存储器来存储行人的多视角特征;还设计了一种自蒸馏无参数动态引导策略,在多模态融合特征和多视角特征的引导下,利用该策略动态强化网络的多模态推理和多视角推理能力;最后网络能够从一个行人的单模态图像推理出另一模态不同视角行人特征,提升模型跨模态行人重识别的性能.基于PyTorch深度学习框架,在公开数据集SYSU-MM01和RegDB上与当前主流的方法进行对比实验,结果表明,所提方法的Rank-1分别达到63.12%和92.55%, mAP分别达到61.51%和89.55%,优于对比方法.

关键词：跨模态行人重识别特征融合注意力机制记忆存储机制自蒸馏

在线全文

学校读者我要写书评

暂无评论

一种自蒸馏的轻量化图像分类网络方案

北京邮电大学学报 2023年第6期46卷 66-71页

作者：倪水平马新良河南理工大学计算机科学与技术学院焦作454000

图像分类任务经常通过压缩神经网络模型以减少参数量,导致分类准确率下降。对此,提出了一种自蒸馏的轻量化图像分类网络方案。首先,在自蒸馏框架内引入计算量和参数量可忽略的轻量注意力模块,减少自蒸馏框架的参数量与计算量,从而实现... 详细信息

图像分类任务经常通过压缩神经网络模型以减少参数量,导致分类准确率下降。对此,提出了一种自蒸馏的轻量化图像分类网络方案。首先,在自蒸馏框架内引入计算量和参数量可忽略的轻量注意力模块,减少自蒸馏框架的参数量与计算量,从而实现自蒸馏框架轻量化;然后,采用分组卷积与深度可分离卷积对残差网络和VGG11网络进行模型压缩,再把压缩后的2个神经网络作为教师模型,根据教师模型的深度,构建多个作为学生模型的浅层分类器,搭建轻量自蒸馏框架。实验结果表明,所提方案不仅确保原自蒸馏的效果,压缩后的图像分类网络在不低于原分类准确率的基础上,参数量极大减少,并降低模型部署的难度。

关键词：图像分类神经网络模型压缩自蒸馏

在线全文

学校读者我要写书评

暂无评论

基于自蒸馏框架的点云分类及其鲁棒性研究

计算机工程 2024年第9期50卷 72-81页

作者：李维刚厉许昌田志强李金灵武汉科技大学信息科学与工程学院武汉430081 武汉科技大学冶金自动化与检测技术教育部工程研究中心武汉430081

与2D图像数据集相比,3D点云数据集的规模较小且表征性较差,容易导致神经网络出现过拟合和泛化能力差的问题。为此,提出一种点云自蒸馏(PointSD)框架,通过对表征形式不同的数据样本进行学习,使网络提取到原始点云数据中的更多特征信息,... 详细信息

与2D图像数据集相比,3D点云数据集的规模较小且表征性较差,容易导致神经网络出现过拟合和泛化能力差的问题。为此,提出一种点云自蒸馏(PointSD)框架,通过对表征形式不同的数据样本进行学习,使网络提取到原始点云数据中的更多特征信息,实现样本之间的知识交互,在不增加额外计算负荷的情况下提升网络的泛化能力,适用于不同规模的分类网络模型。基于该框架提出一种点云抗腐败训练方法TND-PointSD,解决了当前点云训练方法抗腐败能力不足的问题。实验结果表明:在ScanObjectNN数据集上,应用PointSD框架的PointNet++和RepSurf-U 2X基准网络的平均准确率(MA)相比于应用标准训练(ST)方法提高了8.22和4.86个百分点;在ModelNet40-C数据集上,在15种腐败类型上分类网络的平均整体准确率(MOA)均有所提升,证明了TND-PointSD方法能够有效地增强网络模型的腐败鲁棒性。

关键词：点云数据点云分类自蒸馏数据增强腐败鲁棒性

一种基于Transformer特征金字塔的自蒸馏目标分割方法

在线全文

学校读者我要写书评

暂无评论

电子与信息学报 2024年

作者：陈雷杨吉斌曹铁勇郑云飞王杨张波林振华李文斌陆军工程大学指挥控制工程学院国防科技大学外国语学院 31150部队 94895部队陆军炮兵防空兵学院南京校区

为在不增加网络参数规模的情况下提升目标分割性能，该文提出一种基于Transformer特征金字塔的自蒸馏目标分割方法，提升了Transformer分割模型的实用性。首先，以Swin Transformer为主干网构建了像素级的目标分割模型；然后，设计了适... 详细信息

为在不增加网络参数规模的情况下提升目标分割性能，该文提出一种基于Transformer特征金字塔的自蒸馏目标分割方法，提升了Transformer分割模型的实用性。首先，以Swin Transformer为主干网构建了像素级的目标分割模型；然后，设计了适合Transformer的蒸馏辅助分支，该分支由密集连接空间空洞金字塔(Dense ASPP)、相邻特征融合模块(AFFM)和得分模块构建而成，通过自蒸馏方式指导主干网络学习蒸馏知识；最后，利用自上而下的学习策略指导模型学习，以保证自蒸馏学习的一致性。实验表明，在4个公开数据集上所提方法均能有效提升目标分割精度，在伪装目标检测(COD)数据集上比次优的Transformer知识蒸馏(TKD)方法的Fβ值提高了约1.6%。

关键词：自蒸馏 Transformer 目标分割特征金字塔

结合并行池化与自蒸馏的YOLO红外目标检测算法

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

红外技术 2024年第8期46卷 883-891页

作者：周华平吴劲李敬兆吴涛安徽理工大学计算机科学与工程学院安徽淮南232001

针对红外目标检测中对比度低和尺度差异导致的检测精度低的问题,本文提出了一种PPSD-YOLO(parallel pooling and self distillation-YOLO)红外目标检测算法。首先,构建了并行池化模块Fusion-P,使目标附近的像素点更为平滑,防止目标像素... 详细信息

针对红外目标检测中对比度低和尺度差异导致的检测精度低的问题,本文提出了一种PPSD-YOLO(parallel pooling and self distillation-YOLO)红外目标检测算法。首先,构建了并行池化模块Fusion-P,使目标附近的像素点更为平滑,防止目标像素缺失。其次,针对红外小目标检测精度低的问题,在网络中增加小目标检测层,并采用K-means++算法优化其初始化锚框大小及比例。然后,在Neck层中引入多尺度特征感知模块(SA-RFE),通过多分支空洞卷积结构融合目标的多尺度上下文信息。最后,在训练过程中构建了一种修正自蒸馏框架,动态修正教师模型中的误检目标从而提高学生模型检测精度。在FLIR红外数据集上的结果表明,改进后的PPSD-YOLO较YOLO v7算法mAP提高了2.7%。

关键词：红外目标检测 YOLO v7 自蒸馏空洞卷积

融合二次特征提取和自蒸馏的流量异常检测方法

在线全文

学校读者我要写书评

暂无评论

信息安全研究 2024年第12期10卷 1082-1090页

作者：陈万志赵林王天元辽宁工程技术大学软件学院辽宁葫芦岛125105 国网辽宁省电力有限公司营口供电公司辽宁营口115002

针对深度学习模型在处理非平衡的海量高维流量数据时对少数类攻击流量检测率低的问题,提出一种融合二次特征提取和自蒸馏的流量异常检测方法.首先,采用隔离森林(isolation forest,iForest)去除正常类样本中的离群点,训练改进的卷积去噪... 详细信息

针对深度学习模型在处理非平衡的海量高维流量数据时对少数类攻击流量检测率低的问题,提出一种融合二次特征提取和自蒸馏的流量异常检测方法.首先,采用隔离森林(isolation forest,iForest)去除正常类样本中的离群点,训练改进的卷积去噪编码器(convolutional denoising autoencoder,CDAE),减少数据中噪声和离群点对模型训练时的影响,得到原始特征的低维增强表示.其次,借助ADASYN在去除离群点的数据集上合成少数类攻击样本,解决数据失衡问题.然后,再利用iForest清除生成新样本中的离群点得到新数据集,利用训练好的CDAE对新数据集进行1次特征提取,提取的特征作为基于自蒸馏的ResNet模型输入完成2次特征提取.最后,通过组合训练好的CDAE和ResNet模型实现对异常流量的精准识别.该方法在NSL-KDD数据集上五分类准确率和F1分数最高分别达到91.52%和92.05%.实验结果表明,与现有的方法相比,该方法能够有效提升对少数攻击流量的检测率.

关键词：流量异常检测卷积去噪自编码器自蒸馏隔离森林自适应合成采样

维普期刊数据库博看期刊