检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于平衡对比学习策略的长尾识别方法

西北大学学报(自然科学版) 2024年

作者：孔令权翟俊海河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室(河北大学)

长尾识别是计算机视觉领域最具挑战性的问题之一。在现实世界中长尾识别具有广泛的应用,研究长尾识别具有重要意义。对于长尾分布数据来说,由于类与类之间样本量不平衡,以及占比众多的尾部类缺少足够的训练样本,使其在训练过程中很难找... 详细信息

长尾识别是计算机视觉领域最具挑战性的问题之一。在现实世界中长尾识别具有广泛的应用,研究长尾识别具有重要意义。对于长尾分布数据来说,由于类与类之间样本量不平衡,以及占比众多的尾部类缺少足够的训练样本,使其在训练过程中很难找到各类间的明确界限。为解决这一问题,将元预训练和监督对比学习结合起来,提出了基于平衡对比学习策略的长尾识别方法 MBCP-BB(meta balanced contrastive pre-training and batch balance)。MBCP-BB采用解耦学习方式进行模型训练:通过预训练获得具有优异特征表示能力的特征提取器,在微调阶段,固定特征提取器,重新训练分类器。该方法突出特征学习的重要性,设计了平衡对比学习策略指导特征学习过程,从而使监督对比学习技术能有效应用于长尾识别场景。进行特征学习时,首先适当减少头部类样本,并利用少样本图像生成技术为尾部类生成新样本;之后以每类的类原型作为补充样本用于训练。解耦学习训练模式下,充分挖掘了特征提取器与分类器的潜力,在增强模型特征学习能力的同时,大大简化了分类器的训练过程。在几个长尾基准数据集上进行了大量实验,并与7个代表性的算法从多个角度进行了实验比较,实验结果表明该方法优于比较的算法。

关键词：长尾识别元学习预训练监督对比学习批次平衡训练

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于对抗样本和自编码器的鲁棒异常检测

计算机科学 2024年第5期51卷 363-373页

作者：李沙沙邢红杰河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室河北保定071002

基于自编码器的异常检测方法仅利用正常样本进行训练,因此可以有效地重构正常样本,但不能较好地对异常样本进行重构。另外,当基于自编码器的异常检测方法受到对抗攻击时,往往会取得错误的检测结果。为了解决上述问题,提出了一种基于对... 详细信息

基于自编码器的异常检测方法仅利用正常样本进行训练,因此可以有效地重构正常样本,但不能较好地对异常样本进行重构。另外,当基于自编码器的异常检测方法受到对抗攻击时,往往会取得错误的检测结果。为了解决上述问题,提出了一种基于对抗样本和自编码器的鲁棒异常检测(Robust Anomaly Detection Based on Adversarial Samples and AutoEncoder,RAD-ASAE)方法。RAD-ASAE由两个参数共享的编码器和一个解码器构成。首先,对正常样本施加微小的扰动以生成对抗样本,利用正常样本和对抗样本同时对模型进行训练,以提高模型的对抗鲁棒性;其次,在样本空间中最小化对抗样本的重构误差以及正常样本与对抗样本的重构样本之间的均方误差,同时在潜在空间中最小化正常样本和对抗样本的潜在特征之间的均方误差,以提高自编码器的重构能力。在MNIST,Fashion-MNIST,CIFAR-10数据集上进行实验,结果表明,与7种相关方法相比,RAD-ASAE展现了更优的异常检测性能。

关键词：自编码器对抗样本异常检测对抗攻击鲁棒性

在线全文

学校读者我要写书评

暂无评论

基于注意力的多尺度蒸馏异常检测

计算机科学 2024年第S1期51卷 634-644页

作者：乔虹邢红杰河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室河北保定071002

基于知识蒸馏的异常检测方法中,教师网络远大于学生网络,使得所得特征表示在同一位置对应图像的感受野不同。为解决此问题,可使学生网络与教师网络结构相同。然而,学生与教师网络完全相同,使得在测试阶段,对于异常样本,教师网络与学生... 详细信息

基于知识蒸馏的异常检测方法中,教师网络远大于学生网络,使得所得特征表示在同一位置对应图像的感受野不同。为解决此问题,可使学生网络与教师网络结构相同。然而,学生与教师网络完全相同,使得在测试阶段,对于异常样本,教师网络与学生网络特征表示差异过小而影响异常检测的性能。为解决该问题,提出了基于高效通道注意力模块的多尺度知识蒸馏异常检测方法(ECA Based Multi-Scale Knowledge Distillation Anomaly Detection,ECA-MSKDAD),并结合数据增强操作提出了相对距离损失函数。使用经过预训练的网络作为教师网络,同时使用与教师网络结构相同的网络作为学生网络。在训练阶段,对训练样本采取数据增强操作以扩充训练集的规模,并在学生网络中引入高效通道注意力(Efficient Channel Attention,ECA)模块,以增加教师网络和学生网络之间的差异,增大异常数据的重构误差,进而提高模型的检测性能。此外,利用相对距离损失函数,将数据间关系从教师网络传递到学生网络,对学生网络的网络参数进行优化。在MVTec AD进行实验,与9种相关方法比较,所提方法在异常检测与异常定位上均取得更优的性能。

关键词：深度学习异常检测异常定位知识蒸馏注意力机制

基于Depth-wise卷积和视觉Transformer的图像分类模型

在线全文

学校读者我要写书评

暂无评论

计算机科学 2024年第2期51卷 196-204页

作者：张峰黄仕鑫花强董春茹河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室河北保定071002

图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关... 详细信息

图像分类作为一种常见的视觉识别任务,有着广阔的应用场景。在处理图像分类问题时,传统的方法通常使用卷积神经网络,然而,卷积网络的感受野有限,难以建模图像的全局关系表示,导致分类精度低,难以处理复杂多样的图像数据。为了对全局关系进行建模,一些研究者将Transformer应用于图像分类任务,但为了满足Transformer的序列化和并行化要求,需要将图像分割成大小相等、互不重叠的图像块,破坏了相邻图像数据块之间的局部信息。此外,由于Transformer具有较少的先验知识,模型往往需要在大规模数据集上进行预训练,因此计算复杂度较高。为了同时建模图像相邻块之间的局部信息并充分利用图像的全局信息,提出了一种基于Depth-wise卷积的视觉Transformer(Efficient Pyramid Vision Transformer,EPVT)模型。EPVT模型可以实现以较低的计算成本提取相邻图像块之间的局部和全局信息。EPVT模型主要包含3个关键组件:局部感知模块(Local Perceptron Module,LPM)、空间信息融合模块(Spatial Information Fusion,SIF)和“+卷积前馈神经网络(Convolution Feed-forward Network,CFFN)。LPM模块用于捕获图像的局部相关性;SIF模块用于融合相邻图像块之间的局部信息,并利用不同图像块之间的远距离依赖关系,提升模型的特征表达能力,使模型学习到输出特征在不同维度下的语义信息;CFFN模块用于编码位置信息和重塑张量。在图像分类数据集ImageNet-1K上,所提模型优于现有的同等规模的视觉Transformer分类模型,取得了82.6%的分类准确度,证明了该模型在大规模数据集上具有竞争力。

关键词：深度学习图像分类 Depth-wise卷积视觉Transformer 注意力机制

三支区间集半概念的代数结构及覆盖粗糙近似算子

在线全文

学校读者我要写书评

暂无评论

郑州大学学报(理学版) 2024年

作者：毛华牛振华马经泽王刚张植明杨兰珍河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室

针对在一个形式背景中以区间集为底集,考虑一个属性集(对象集)拥有的对象集(属性集)和不拥有的对象集(属性集)的知识表述而进行知识提取的问题,采取将区间集概念与三支决策、经典半概念相结合的方法,产生AE-区间集半概念和OE-区间集半... 详细信息

针对在一个形式背景中以区间集为底集,考虑一个属性集(对象集)拥有的对象集(属性集)和不拥有的对象集(属性集)的知识表述而进行知识提取的问题,采取将区间集概念与三支决策、经典半概念相结合的方法,产生AE-区间集半概念和OE-区间集半概念两种形式的三支区间集半概念,同时发现AE-区间集半概念与OE-区间集半概念的纯双布尔代数结构。进一步深入讨论可知,AE-区间集半概念可分为AE1-区间集半概念与AE2-区间集半概念,利用粗糙集理论分别挖掘与AE1-区间集半概念和AE2-区间集半概念有关的近似算子的结构性质,对偶地可得OE-区间集半概念的相关结果。所得三支区间集半概念拓广了已有的三支决策集分别与区间集概念和半概念相结合的相关成果,成为一个新的知识表述。

关键词：形式概念分析半概念三支决策区间集概念近似算子

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于变分自编码器与流形特征的聚类算法

山西大学学报(自然科学版) 2024年第1期47卷 69-80页

作者：陈俊芬韩金池谢博鋆谢政豪河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室

深度神经网络因具有优良的非线性映射能力和在不同场景下的灵活性而成为一种很有前景的聚类方法。为了得到易于聚类的特征，许多深度聚类方法从原始数据中提取特征是通过将原始数据映射到一个更低维的空间方式，而聚类指派依然假设是在... 详细信息

深度神经网络因具有优良的非线性映射能力和在不同场景下的灵活性而成为一种很有前景的聚类方法。为了得到易于聚类的特征，许多深度聚类方法从原始数据中提取特征是通过将原始数据映射到一个更低维的空间方式，而聚类指派依然假设是在欧式空间进行。为了探究特征提取和流形空间对聚类性能的影响，本文提出了一种基于变分自编码器与流形特征的聚类算法—MFVC(Clustering Algorithm Based on Variational Autoencoder and Manifold Features)。该方法通过具有残差连接层及无参数注意力机制SimAM(A Simple, Parameter-Free Attention Module for Convolutional Neural Networks)组成的β-VAE(Learning Basic Visual Concepts with a Constrained Variational Framework)做特征提取器提取图像特征，采用流形UMAP(Uniform Manifold Approximation and Projection for Dimension Reduction)方法提高特征的可分离性，然后用K-Means方法进行聚类学习。在6个基准数据集的实验结果表示该方法能够提供较好的性能，MFVC在MNIST(Mixed NationalInstitute of Standards and Technology database)数据集上能够达到0.981的精度，在Fashion-MNIST数据集上能够达到0.681的精度。

关键词：变分自编码器残差连接 UMAP K-Means 流形学习

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于注意力机制的语义对比学习算法

山西大学学报(自然科学版) 2024年第1期47卷 81-92页

作者：陈俊芬吕巧莉谢博鋆孙劲松河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室

对比学习中不合适的数据增强会导致语义信息的失真，同一图像在不同类型的数据增强下语义信息有巨大的语义差距；此外，卷积神经网络（CNN）对纹理有强烈偏好，无法精准学习到下游任务所需的深层语义特征表示，针对以上问题，本文提出... 详细信息

对比学习中不合适的数据增强会导致语义信息的失真，同一图像在不同类型的数据增强下语义信息有巨大的语义差距；此外，卷积神经网络（CNN）对纹理有强烈偏好，无法精准学习到下游任务所需的深层语义特征表示，针对以上问题，本文提出一种基于注意力的语义对比学习方法（Semantic attention contrastive learning method,SACL）。SACL首先利用卷积神经网络提取特征，然后注意力模块挖掘全局特征，获得更高级的语义特征，实现了对低级特征的补充和深层特征的语义融合。其次使用截然不同的数据增强方式构造正负样本对，将弱增强（几何增强）生成的正样本和强增强（纹理增强）生成的负样本进行对比，获得差异更为显著的图像输入。网格化增强视图增加了正样本的个数，加快网络收敛速度。在四个数据集上验证了所提出的语义对比学习算法的有效性，结果表明在ImageNet-100数据集上平均精度可以达到78.3%，可以有效提高模型的分类准确率。

关键词：对比学习注意力机制语义特征表示数据增强纹理网格化

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于集成重要性采样的随机梯度下降算法

南京理工大学学报 2024年第3期48卷 342-350页

作者：张浩鲁淑霞河北大学数学与信息科学学院河北保定071002 河北省机器学习与计算智能重点实验室河北保定071002

许多机器学习和深度学习问题都可以使用随机梯度优化算法求解,目前流行的算法大多通过均匀采样从样本集中抽取样本计算梯度估计。然而,随机采样的梯度估计会带来较大的方差,这个方差会随着优化的进行而累积,降低算法收敛速度。为缓解这... 详细信息

许多机器学习和深度学习问题都可以使用随机梯度优化算法求解,目前流行的算法大多通过均匀采样从样本集中抽取样本计算梯度估计。然而,随机采样的梯度估计会带来较大的方差,这个方差会随着优化的进行而累积,降低算法收敛速度。为缓解这一现象,可以为每个样本赋予不同的采样概率。该文基于集成学习的思想,提出了一种新的选取非均匀采样分布的算法。算法的主要目的是选取一个采样器权重,使梯度估计的方差尽可能小。所提算法由多个简单采样器组成,采样权重为每个简单采样器分配贡献权重,从而得到最终的采样分布。集成重要性采样算法可以和以往的随机梯度优化方法任意结合,该文给出了使用集成重要性采样的随机梯度下降算法。在试验中,可以直观地看到算法起效的原因。在真实数据集中,展示了所提算法减小方差的效果,与其他算法相比具有一定优势。

关键词：集成学习重要性采样采样器随机梯度下降方差减少

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

基于模糊三支区间集半概念知识提取方法研究

郑州大学学报（理学版） 2024年第1期56卷 81-87页

作者：毛华牛振华马经泽张植明杨兰珍河北大学数学与信息科学学院河北保定071002 河北省机器学习与计算机智能重点实验室河北保定071002

为了解决只需要考虑属性区间集到对象区间集的问题,将经典半概念理论引入三支区间集中,对于一个模糊形式背景,定义了面向属性的模糊区间集半算子,用此算子得到模糊AE-区间集半概念;讨论了该类半概念的偏序关系和格结构,进而得到求同一... 详细信息

为了解决只需要考虑属性区间集到对象区间集的问题,将经典半概念理论引入三支区间集中,对于一个模糊形式背景,定义了面向属性的模糊区间集半算子,用此算子得到模糊AE-区间集半概念;讨论了该类半概念的偏序关系和格结构,进而得到求同一形式背景下模糊AE-区间集半概念全体的算法。对偶地,得到模糊OE-区间集半概念定义和其格结构,以及寻找模糊OE-区间集半概念全体的算法。所得结果有助于拓展概念格和区间集理论的应用范围,也为知识提取提供了一种有益的方法。

关键词：区间集经典半概念模糊集三支决策