检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于对抗样本和自编码器的鲁棒异常检测

计算机科学 2024年第5期51卷 363-373页

作者：李沙沙邢红杰河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室河北保定071002

基于自编码器的异常检测方法仅利用正常样本进行训练,因此可以有效地重构正常样本,但不能较好地对异常样本进行重构。另外,当基于自编码器的异常检测方法受到对抗攻击时,往往会取得错误的检测结果。为了解决上述问题,提出了一种基于对... 详细信息

基于自编码器的异常检测方法仅利用正常样本进行训练,因此可以有效地重构正常样本,但不能较好地对异常样本进行重构。另外,当基于自编码器的异常检测方法受到对抗攻击时,往往会取得错误的检测结果。为了解决上述问题,提出了一种基于对抗样本和自编码器的鲁棒异常检测(Robust Anomaly Detection Based on Adversarial Samples and AutoEncoder,RAD-ASAE)方法。RAD-ASAE由两个参数共享的编码器和一个解码器构成。首先,对正常样本施加微小的扰动以生成对抗样本,利用正常样本和对抗样本同时对模型进行训练,以提高模型的对抗鲁棒性;其次,在样本空间中最小化对抗样本的重构误差以及正常样本与对抗样本的重构样本之间的均方误差,同时在潜在空间中最小化正常样本和对抗样本的潜在特征之间的均方误差,以提高自编码器的重构能力。在MNIST,Fashion-MNIST,CIFAR-10数据集上进行实验,结果表明,与7种相关方法相比,RAD-ASAE展现了更优的异常检测性能。

关键词：自编码器对抗样本异常检测对抗攻击鲁棒性

同方期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于集成重要性采样的随机梯度下降算法

南京理工大学学报 2024年第3期48卷 342-350页

作者：张浩鲁淑霞河北大学数学与信息科学学院河北保定071002 河北省机器学习与计算智能重点实验室河北保定071002

许多机器学习和深度学习问题都可以使用随机梯度优化算法求解,目前流行的算法大多通过均匀采样从样本集中抽取样本计算梯度估计。然而,随机采样的梯度估计会带来较大的方差,这个方差会随着优化的进行而累积,降低算法收敛速度。为缓解这... 详细信息

许多机器学习和深度学习问题都可以使用随机梯度优化算法求解,目前流行的算法大多通过均匀采样从样本集中抽取样本计算梯度估计。然而,随机采样的梯度估计会带来较大的方差,这个方差会随着优化的进行而累积,降低算法收敛速度。为缓解这一现象,可以为每个样本赋予不同的采样概率。该文基于集成学习的思想,提出了一种新的选取非均匀采样分布的算法。算法的主要目的是选取一个采样器权重,使梯度估计的方差尽可能小。所提算法由多个简单采样器组成,采样权重为每个简单采样器分配贡献权重,从而得到最终的采样分布。集成重要性采样算法可以和以往的随机梯度优化方法任意结合,该文给出了使用集成重要性采样的随机梯度下降算法。在试验中,可以直观地看到算法起效的原因。在真实数据集中,展示了所提算法减小方差的效果,与其他算法相比具有一定优势。

关键词：集成学习重要性采样采样器随机梯度下降方差减少

在线全文

学校读者我要写书评

暂无评论

基于注意力机制的语义对比学习算法

山西大学学报(自然科学版) 2024年第1期47卷 81-92页

作者：陈俊芬吕巧莉谢博鋆孙劲松河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室

对比学习中不合适的数据增强会导致语义信息的失真，同一图像在不同类型的数据增强下语义信息有巨大的语义差距；此外，卷积神经网络（CNN）对纹理有强烈偏好，无法精准学习到下游任务所需的深层语义特征表示，针对以上问题，本文提出... 详细信息

对比学习中不合适的数据增强会导致语义信息的失真，同一图像在不同类型的数据增强下语义信息有巨大的语义差距；此外，卷积神经网络（CNN）对纹理有强烈偏好，无法精准学习到下游任务所需的深层语义特征表示，针对以上问题，本文提出一种基于注意力的语义对比学习方法（Semantic attention contrastive learning method,SACL）。SACL首先利用卷积神经网络提取特征，然后注意力模块挖掘全局特征，获得更高级的语义特征，实现了对低级特征的补充和深层特征的语义融合。其次使用截然不同的数据增强方式构造正负样本对，将弱增强（几何增强）生成的正样本和强增强（纹理增强）生成的负样本进行对比，获得差异更为显著的图像输入。网格化增强视图增加了正样本的个数，加快网络收敛速度。在四个数据集上验证了所提出的语义对比学习算法的有效性，结果表明在ImageNet-100数据集上平均精度可以达到78.3%，可以有效提高模型的分类准确率。

关键词：对比学习注意力机制语义特征表示数据增强纹理网格化

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

基于变分自编码器与流形特征的聚类算法

山西大学学报(自然科学版) 2024年第1期47卷 69-80页

作者：陈俊芬韩金池谢博鋆谢政豪河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室

深度神经网络因具有优良的非线性映射能力和在不同场景下的灵活性而成为一种很有前景的聚类方法。为了得到易于聚类的特征，许多深度聚类方法从原始数据中提取特征是通过将原始数据映射到一个更低维的空间方式，而聚类指派依然假设是在... 详细信息

深度神经网络因具有优良的非线性映射能力和在不同场景下的灵活性而成为一种很有前景的聚类方法。为了得到易于聚类的特征，许多深度聚类方法从原始数据中提取特征是通过将原始数据映射到一个更低维的空间方式，而聚类指派依然假设是在欧式空间进行。为了探究特征提取和流形空间对聚类性能的影响，本文提出了一种基于变分自编码器与流形特征的聚类算法—MFVC(Clustering Algorithm Based on Variational Autoencoder and Manifold Features)。该方法通过具有残差连接层及无参数注意力机制SimAM(A Simple, Parameter-Free Attention Module for Convolutional Neural Networks)组成的β-VAE(Learning Basic Visual Concepts with a Constrained Variational Framework)做特征提取器提取图像特征，采用流形UMAP(Uniform Manifold Approximation and Projection for Dimension Reduction)方法提高特征的可分离性，然后用K-Means方法进行聚类学习。在6个基准数据集的实验结果表示该方法能够提供较好的性能，MFVC在MNIST(Mixed NationalInstitute of Standards and Technology database)数据集上能够达到0.981的精度，在Fashion-MNIST数据集上能够达到0.681的精度。

关键词：变分自编码器残差连接 UMAP K-Means 流形学习

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

对抗鲁棒性评估的指标体系及其完备性

软件学报 2024年

作者：石育澄韩亚洪天津大学智能与计算学部天津大学天津市机器学习重点实验室

对抗鲁棒性评估需要结合对抗样本攻击能力与噪声幅度形成对深度学习模型噪声抵御能力的完整、准确的评测.然而,对抗鲁棒性评估评价指标缺乏完备性是现有对抗攻防方法的一个关键问题.现有的对抗鲁棒性评估相关工作缺少对评价指标体系的... 详细信息

对抗鲁棒性评估需要结合对抗样本攻击能力与噪声幅度形成对深度学习模型噪声抵御能力的完整、准确的评测.然而,对抗鲁棒性评估评价指标缺乏完备性是现有对抗攻防方法的一个关键问题.现有的对抗鲁棒性评估相关工作缺少对评价指标体系的分析与比较,忽视了攻击成功率和不同范数对鲁棒性评估指标体系完备性的影响以及对攻防方法设计的限制.本文从范数选择和度量指标两个维度展开对抗鲁棒性评价指标体系的讨论,分别从评价指标定义域的包含关系,鲁棒性描述粒度,以及鲁棒性评估序关系三个方面对鲁棒性评估指标体系完备性进行理论分析,并得出以下结论:使用均值等噪声统计量比使用攻击成功率等评价指标定义域更大且更全面,同时能够保证任意两个对抗样本集合都能够进行比较;使用2范数比使用其他范数在鲁棒性评估的描述上更具完备性.在6个数据集上对23种模型及20种对抗攻击方法的大量实验验证了这些结论.

关键词：对抗机器学习对抗鲁棒性对抗样本攻击方法对抗扰动

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于注意力的多尺度蒸馏异常检测

计算机科学 2024年第S1期51卷 634-644页

作者：乔虹邢红杰河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室河北保定071002

基于知识蒸馏的异常检测方法中,教师网络远大于学生网络,使得所得特征表示在同一位置对应图像的感受野不同。为解决此问题,可使学生网络与教师网络结构相同。然而,学生与教师网络完全相同,使得在测试阶段,对于异常样本,教师网络与学生... 详细信息

基于知识蒸馏的异常检测方法中,教师网络远大于学生网络,使得所得特征表示在同一位置对应图像的感受野不同。为解决此问题,可使学生网络与教师网络结构相同。然而,学生与教师网络完全相同,使得在测试阶段,对于异常样本,教师网络与学生网络特征表示差异过小而影响异常检测的性能。为解决该问题,提出了基于高效通道注意力模块的多尺度知识蒸馏异常检测方法(ECA Based Multi-Scale Knowledge Distillation Anomaly Detection,ECA-MSKDAD),并结合数据增强操作提出了相对距离损失函数。使用经过预训练的网络作为教师网络,同时使用与教师网络结构相同的网络作为学生网络。在训练阶段,对训练样本采取数据增强操作以扩充训练集的规模,并在学生网络中引入高效通道注意力(Efficient Channel Attention,ECA)模块,以增加教师网络和学生网络之间的差异,增大异常数据的重构误差,进而提高模型的检测性能。此外,利用相对距离损失函数,将数据间关系从教师网络传递到学生网络,对学生网络的网络参数进行优化。在MVTec AD进行实验,与9种相关方法比较,所提方法在异常检测与异常定位上均取得更优的性能。

关键词：深度学习异常检测异常定位知识蒸馏注意力机制

基于Depth-wise卷积和视觉Transformer的图像分类模型

在线全文

学校读者我要写书评

暂无评论

计算机科学 2024年第2期51卷 196-204页

作者：张峰黄仕鑫花强董春茹河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室河北保定071002

图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关... 详细信息

图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关系进行建模,一些研究者将Transformer应用于图像分类任务,但为了满足Transformer的序列化和并行化要求,需要将图像分割成大小相等、互不重叠的图像块,破坏了相邻图像数据块之间的局部信息。此外,由于Transformer具有较少的先验知识,模型往往需要在大规模数据集上进行预训练,因此计算复杂度较高。为了同时建模图像相邻块之间的局部信息并充分利用图像的全局信息,提出了一种基于Depth-wise卷积的视觉Transformer(Efficient Pyramid Vision Transformer,EPVT)模型。EPVT模型可以实现以较低的计算成本提取相邻图像块之间的局部和全局信息。EPVT模型主要包含3个关键组件:局部感知模块(Local Perceptron Module,LPM)、空间信息融合模块(Spatial Information Fusion,SIF)和“+卷积前馈神经网络(Convolution Feed-forward Network,CFFN)。LPM模块用于捕获图像的局部相关性;SIF模块用于融合相邻图像块之间的局部信息,并利用不同图像块之间的远距离依赖关系,提升模型的特征表达能力,使模型学习到输出特征在不同维度下的语义信息;CFFN模块用于编码位置信息和重塑张量。在图像分类数据集ImageNet-1K上,所提模型优于现有的同等规模的视觉Transformer分类模型,取得了82.6%的分类准确度,证明了该模型在大规模数据集上具有竞争力。

关键词：深度学习图像分类 Depth-wise卷积视觉Transformer 注意力机制

在线全文

学校读者我要写书评

暂无评论

基于三支区间集前概念的知识提取及应用

郑州大学学报(理学版) 2024年

作者：毛华胥德华刘川郑博雅袁晓垒杨兰珍河北大学数学与信息科学学院河北省机器学习与计算机智能重点实验室

前概念,作为形式概念“弱化”的知识表达形式,常用来提取对象共有的属性与属性所共有的对象这两类知识。区间集概念格是将区间集理论与形式概念相结合后产生的,利用区间集能够反映不确定信息的特性把形式概念拓展为区间集概念。将前概... 详细信息

前概念,作为形式概念“弱化”的知识表达形式,常用来提取对象共有的属性与属性所共有的对象这两类知识。区间集概念格是将区间集理论与形式概念相结合后产生的,利用区间集能够反映不确定信息的特性把形式概念拓展为区间集概念。将前概念理论结合三支决策引入区间集概念,提出了对象诱导的三支区间集前概念,即OE-区间集前概念。在此基础上,讨论了OE-区间集前概念的格结构,并与已有成果进行比较,给出了相应的构造算法。这些所得理论成果,通过医生总结病例的实践内容,加以验证,说明了所定义知识表示形式的有效性和实用性。这将有助于拓展区间集概念理论以及前概念理论的研究深度和应用范围,同时也为知识提取和信息挖掘提供了一种可行的方法。

关键词：前概念区间集区间集概念三支决策三支区间集前概念

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于平衡对比学习策略的长尾识别方法

西北大学学报（自然科学版） 2024年第4期54卷 677-688页

作者：孔令权翟俊海河北大学数学与信息科学学院河北保定071002 河北省机器学习与计算智能重点实验室〔河北大学〕河北保定071002

长尾识别是计算机视觉领域最具挑战性的问题之一。在现实世界中长尾识别具有广泛的应用,研究长尾识别具有重要意义。对于长尾分布数据来说,由于类与类之间样本量不平衡,以及占比众多的尾部类缺少足够的训练样本,使其在训练过程中很难找... 详细信息

长尾识别是计算机视觉领域最具挑战性的问题之一。在现实世界中长尾识别具有广泛的应用,研究长尾识别具有重要意义。对于长尾分布数据来说,由于类与类之间样本量不平衡,以及占比众多的尾部类缺少足够的训练样本,使其在训练过程中很难找到各类间的明确界限。为解决这一问题,将元预训练和监督对比学习结合起来,提出了基于平衡对比学习策略的长尾识别方法MBCP-BB(meta balanced contrastive pre-training and batch balance)。MBCP-BB采用解耦学习方式进行模型训练:通过预训练获得具有优异特征表示能力的特征提取器,在微调阶段,固定特征提取器,重新训练分类器。该方法突出特征学习的重要性,设计了平衡对比学习策略指导特征学习过程,从而使监督对比学习技术能有效应用于长尾识别场景。进行特征学习时,首先适当减少头部类样本,并利用少样本图像生成技术为尾部类生成新样本;之后以每类的类原型作为补充样本用于训练。解耦学习训练模式下,充分挖掘了特征提取器与分类器的潜力,在增强模型特征学习能力的同时,大大简化了分类器的训练过程。在几个长尾基准数据集上进行了大量实验,并与7个代表性的算法从多个角度进行了实验比较,实验结果表明该方法优于比较的算法。

关键词：长尾识别元学习预训练监督对比学习批次平衡训练