检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于自然最近邻的联邦聚合算法

计算机工程 2024年

作者：施永辉代琪陈丽芳韩阳华北理工大学理学院河北省数据科学与应用重点实验室华北理工大学学科建设处

联邦学习框架在保护本地数据隐私的同时，面临着来自攻击者污染客户端数据的挑战，可能导致全局模型性能下降。目前主流联邦学习框架设计时通常假设客户端本地数据是干净的，但实际情况中攻击者可通过数据污染手段破坏模型准确性。为此... 详细信息

联邦学习框架在保护本地数据隐私的同时，面临着来自攻击者污染客户端数据的挑战，可能导致全局模型性能下降。目前主流联邦学习框架设计时通常假设客户端本地数据是干净的，但实际情况中攻击者可通过数据污染手段破坏模型准确性。为此，研究者提出了一种基于自然最近邻的联邦聚合算法。与其他传统联邦防御算法不同，该算法为非独立同分布的条件下的联邦学习框架，能够防御有目标的攻击。该算法引入自然最近邻的搜索过程，通过此过程赋予模型异常度，有效区分异常模型。选取其中异常度较小的节点参与训练，确保正常节点参与训练次数远大于恶意节点次数。实验证明，非独立同分布的条件下，该算法在标签翻转和后门攻击等有目标攻击的场景下，能保持模型准确率，增强了联邦学习框架的鲁棒性。即使受到恶意攻击，该算法有效维护全局模型性能和可靠性。这一基于自然最近邻的联邦聚合算法为解决客户端数据污染问题提供了有效途径，为联邦学习框架安全性和稳定性提供新思路。

关键词：联邦学习聚合算法自然最近邻鲁棒性标签翻转

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于自然最近邻的不平衡数据欠采样方法

统计与决策 2023年第15期39卷 52-56页

作者：孟东霞魏晓光柳凌燕河北金融学院金融科技学院河北保定071051 河北金融学院信息工程与计算机学院河北保定071051

针对不平衡数据集中的少数类样本在实际应用中分类准确率较低的问题,提出一种利用多数类样本的自然最近邻进行欠采样的数据处理方法。自然最近邻算法根据每个样本的分布特征动态地为样本选择数量不同的自然最近邻样本,通过自然最近邻的... 详细信息

针对不平衡数据集中的少数类样本在实际应用中分类准确率较低的问题,提出一种利用多数类样本的自然最近邻进行欠采样的数据处理方法。自然最近邻算法根据每个样本的分布特征动态地为样本选择数量不同的自然最近邻样本,通过自然最近邻的个数反映样本分布的疏密程度。文章所提方法先计算多数类样本在整体数据集中的自然最近邻,根据自然最近邻情况移除多数类中的噪声样本和局部密度较小的样本,再计算剩余样本的相似度,保留密集区域中的代表性样本,去掉部分冗余样本,获得平衡数据集。该方法的计算无须预先指定参数,减少了欠采样过程中多数类分类信息的损失。对比实验利用支持向量机对不同欠采样方法平衡后的12个数据集进行分类,结果表明此方法在大多数数据集上具有较优的分类性能,提升了少数类样本的分类准确率。

关键词：不平衡数据集欠采样自然最近邻

在线全文

学校读者我要写书评

暂无评论

基于自然最近邻的密度峰值聚类算法研究

基于自然最近邻的密度峰值聚类算法研究

作者：刘晓楠哈尔滨理工大学

学位级别：硕士

针对密度峰聚类算法聚类数据时参数较为敏感,且无法对噪声数据进行有效处理,本文提出一种集测地距离和共享自然近邻的密度峰聚类算法(GD-SNR-DPC)。首先利用基于自然最近邻的思想去除噪声点;其次,数据对象的局部密度由基于共享自然逆近... 详细信息

针对密度峰聚类算法聚类数据时参数较为敏感,且无法对噪声数据进行有效处理,本文提出一种集测地距离和共享自然近邻的密度峰聚类算法(GD-SNR-DPC)。首先利用基于自然最近邻的思想去除噪声点;其次,数据对象的局部密度由基于共享自然逆近邻集的共享相互自然近邻相似度进行描述,并通过基于快速排序思想的算法选出数据集的初始聚类中心,并用自然最近邻重新定义初始聚类中心之间基于测地的距离,再用共享相互自然近邻相似度计算出的局部密度和用自然最近邻新定义的基于测地的距离在构建决策图上选取初始聚类中心,最后的聚类中心再由决策图挑选出;最后,再将剩下的数据对象划分到高密度、近距离的聚类中心所在簇中。研究分析与实验证明,本文所提新的算法对复杂流形数据聚类有更好的优势且准确性更高。针对于现有的不确定性聚类算法同样也会存在参数敏感程度高且和对复杂流形不确定性数据集聚类有效性较低的问题,本文提出一种基于JS散度(Jensen-Shannon divergence)的不确定数据密度峰值聚类算法(UDPC-JS)。首先用不确定自然最近邻定义的不确定自然邻域密度因子去除噪声点;其次,不确定数据对象的局部密度通过不确定自然最近邻和JS散度相结合的方式进行描述,然后不确定数据集的初始聚类中心通过结合代表点的概念找到,并重新定义各初始聚类中心的基于JS散度和图的距离,再利用基于不确定自然最近邻和JS散度计算出的局部密度在初始聚类中心之间新定义的基于JS散度和图的距离在构建决策图上选取最终的聚类中心;最后,再将剩下的不确定数据对象划分到高密度、近距离的聚类中心所在簇中。经过理论分析和研究证明:所提算法在各数据集上与实验对比算法相比,能够很好的解决参数敏感问题并且聚类复杂流形的不确定数据集优势更加显著。

关键词：密度峰不确定数据自然最近邻 JS散度聚类

基于自然最近邻和深度学习的模糊C均值聚类算法的研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于自然最近邻和深度学习的模糊C均值聚类算法的研究

作者：龚楠西北师范大学

学位级别：硕士

作为一种被广泛使用的数据挖掘技术,聚类因自身具有无监督学习的优势,近些年来受到了各个领域的青睐,诸如遥感图像分类、目标检测、文本聚类等。其本质是给定大量数据,将相似度高的数据归入同一组,相似度低的数据则归入不同组。然而,现... 详细信息

作为一种被广泛使用的数据挖掘技术,聚类因自身具有无监督学习的优势,近些年来受到了各个领域的青睐,诸如遥感图像分类、目标检测、文本聚类等。其本质是给定大量数据,将相似度高的数据归入同一组,相似度低的数据则归入不同组。然而,现实世界中的大量真实数据之间总是存在部分重叠,导致数据很难被正确划分,因此,作为经典的软聚类算法,模糊C均值算法（Fuzzy C-Means,FCM）通过使用隶属度进行聚类,避免了硬聚类算法非此即彼的判别准则,从而得到了广泛的研究。该算法在处理凸数据时快速且准确率较高,但也存在不足:FCM算法不能有效地对非凸数据进行准确的聚类;FCM算法在处理高维数据时计算复杂度较高且准确率较低;FCM算法在聚类过程中只能获取到数据自身信息,无法有效获取数据点之间的邻居特征,因而该算法不能有效处理图结构的数据。本文主要针对上述不足提出了相应的解决方法,且为了解决文本数据因高维且稀疏的特征引起的聚类效果不佳的问题,将改进后的FCM算法运用在了文档主题判别任务中,具体研究内容如下:（1）针对FCM算法不能正确聚类非凸数据集的问题,提出了一种基于自然最近邻搜索的改进的FCM算法（Improved FCM Algorithm Based on Natural Nearest Neighbor Search,NFCM）。该算法首先会自适应寻找每个样本点的前r个邻居;然后连接每个点与其r个邻居,得到最近邻网络图;最后,在聚类过程中,若两点之间为连通关系,则使用欧氏距离计算它们的相似度,若两点之间为非连通关系,则将其欧氏距离与数据集中相距最远的两样本点间的距离之和作为这两个样本之间的相似度,以此来扩大非同一连通图内数据点间的距离。经过实验证明,该算法具有识别复杂非凸数据集的能力,且相比其他经典方法,该方法聚类效果更优。（2）NFCM算法可以有效处理非凸数据集的聚类问题,但该算法依然无法解决FCM算法处理高维数据时计算复杂度较高且准确率较低的问题,因此提出一种基于深度学习的改进的FCM算法（Improved FCM Algorithm Based on Deep Learning,DFCM）。具体来说,首先通过卷积自动编码器（Convolutional Auto Encoder,CAE）完成数据点在低维空间上的特征表示;然后,通过一个改进的神经网络模型计算数据点之间的相似度;最后,使用FCM算法完成聚类任务。实验表明,所提出的DFCM算法在性能上优于其他方法,其不仅可以有效去除冗余特征,还降低了算法的计算复杂度。（3）DFCM算法解决了FCM算法处理高维数据时计算复杂度较高的问题,但DFCM算法依然是一种只依靠数据点自身信息进行聚类的算法,此方法在聚类过程中无法有效获取数据点之间的邻居特征,因而无法有效处理图结构的数据,对此提出一种基于图表示学习的改进的FCM算法（Improved FCM Algorithm Based on Graph Representation Learning,GFCM）。首先构造K近邻图;其次使用自动编码器（Auto Encoder,AE）来提取原始数据的信息;然后使用图自动编码器（Graph Auto Encoder,GAE）提取数据间的结构信息,且使用一个传递算子将数据信息与结构信息相结合去完成对数据新的表示;最后提出一种新的相似性度量方法完成聚类任务。经过在公开数据集中的实验证明,相较于其他经典方法,该方法更适合处理多种不同类型的数据。同时,将该算法应用在文档主题判别任务中,提升了判别准确率。

关键词：模糊聚类算法自然最近邻深度学习图表示学习文档主题判别

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于自然最近邻的三支聚类研究

基于自然最近邻的三支聚类研究

作者：吴婷凤江苏科技大学

学位级别：硕士

聚类是一种广泛应用于数据挖掘和机器学习等领域的无监督学习方法,也是机器学习和数据挖掘的基本技术之一。其目的是根据数据对象之间的相似程度将它们分类,将相似度较高的数据对象归为同一类别,从而实现不同类别之间相似度的最小化和... 详细信息

聚类是一种广泛应用于数据挖掘和机器学习等领域的无监督学习方法,也是机器学习和数据挖掘的基本技术之一。其目的是根据数据对象之间的相似程度将它们分类,将相似度较高的数据对象归为同一类别,从而实现不同类别之间相似度的最小化和同一类别之间相似度的最大化。作为数据挖掘的重要分支之一,聚类分析在发现数据内部结构和挖掘数据中的信息方面起着关键作用。传统的硬聚类算法仅使用一个集合来表示单个类簇,因此每个样本只能属于一个类簇,这导致了对数据内部结构完整表示的严重限制。相比之下,软聚类算法则通过放宽聚类边界的约束来解决重叠聚类、离群点和不确定对象等问题,即一个数据样本可以划分到多个类簇,而两个类簇之间的交集不一定为空集。因此,软聚类算法在揭示数据内部结构方面具有更广泛的应用前景。作为一种软聚类算法,三支聚类引入了三支决策理论以进行聚类分析。与传统的聚类方法不同的是,类簇不再是一个单独的集合,而是由两个集合,即核心域和边界域组成。核心域包含该类的典型对象,可以确定它们属于这个类簇;而边界域包含该类中的边缘对象,它们可能属于这个类,也可能不属于这个类。这种三支表示既能够处理传统的硬聚类任务,也能处理软聚类任务。通过在类簇中划分边缘区域解决了传统聚类方法中的信息不确定问题,降低了信息不确定性带来的决策风险。本文将三支聚类的思想引入传统的聚类方法中,利用自然最近邻信息对密度峰值聚类算法和集成聚类进行研究与改进,内容如下:(1)针对难以形成清晰的聚类边界的问题,三支聚类方法寻找一种新型的聚类结构,其特征是一对具有紧密连接对象的核心区域和具有相对松散连接对象的边缘区域。密度峰值聚类(DPC)算法是一个非迭代过程,不需要预先确定聚类数,它利用局部密度和局部距离构造决策图,并依据决策图来选择聚类中心,在聚类中心确定之后,将剩余的未分配的对象分配到与之距离最近并比其密度大的聚类中。在本文中,通过利用这两种聚类方法的优点,我们给出了一种新的三支自适应的密度峰值聚类(3W-ADPC)方法。该方法基于局部密度和局部距离的两个改进的定义,利用自然最近邻算法自适应地选择每个样本的邻居,并且不需要截断距离阈值参数。换句话说,3W-ADPC是一种无参数的三支聚类算法。实验结果表明,3W-ADPC算法不仅能很好地解释聚类结构,而且具有良好的性能。(2)数据类型和分布的复杂性导致样本间关系的不确定性增加,这给有效挖掘数据潜在的聚类结构带来了挑战集成聚类旨在通过融合多个不同的基聚类结果得到统一的聚类划分。本文给出一种基于样本扰动理论的三支集成聚类算法,以解决由于信息不准确或数据不足导致的决策不准确的问题。该算法首先结合自然最近邻算法生成两组扰动数据集,随机提取样本的特征子集,利用传统的聚类算法得到不同的基聚类。利用协关联矩阵和确定性函数得到样本的稳定性,然后根据样本稳定性阈值将样本划分为稳定区域和不稳定区域。稳定区域由高稳定性的样本组成,使用K-means算法将该区域划分为每个簇的核心区域。不稳定区域由低稳定性的样本组成,并分配给每个簇的边缘区域。因此,形成了三支聚类的结果。实验结果表明,与其他聚类集成算法相比,本文的算法在UCI Machine Learning Repository数据集上能够获得更好的聚类结果,能够有效地揭示聚类结构。

关键词：密度峰值聚类自然最近邻三支决策三支聚类集成聚类

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

结合自然和共享最近邻的密度峰值聚类算法

计算机科学与探索 2021年第5期15卷 931-940页

作者：柏锷湘罗可罗潇长沙理工大学计算机与通信工程学院长沙410114 国网上海电力公司上海200000

基于快速搜索和寻找密度峰值聚类算法(DPC)具有无需迭代且需要较少参数的优点,但其仍然存在一些缺点:需要人为选取截断距离参数;在流形数据集上的处理效果不佳。针对这些问题,提出一种密度峰值聚类改进算法。该算法结合了自然和共享最... 详细信息

基于快速搜索和寻找密度峰值聚类算法(DPC)具有无需迭代且需要较少参数的优点,但其仍然存在一些缺点:需要人为选取截断距离参数;在流形数据集上的处理效果不佳。针对这些问题,提出一种密度峰值聚类改进算法。该算法结合了自然和共享最近邻算法,重新定义了截断距离和局部密度的计算方法,并且算法融合了候选聚类中心计算概念,通过算法选出不同的候选聚类中心,然后以这些候选中心为新的数据集,再次开始密度峰值聚类,最后将剩余的点分配到所对应的候选中心点所在类簇中。改进的算法在合成数据集和UCI数据集上进行验证,并与K-means、DBSCAN和DPC算法进行比较。实验结果表明,提出的算法在性能方面有明显提升。

关键词：密度峰值聚类算法自然最近邻共享最近邻

在线全文

学校读者我要写书评

暂无评论

利用自然最近邻的不平衡数据过采样方法

计算机工程与应用 2021年第2期57卷 91-96页

作者：孟东霞李玉鑑河北金融学院金融科技学院河北保定071051 桂林电子科技大学人工智能学院广西桂林541004

针对现有过采样方法存在的易引入噪声点、合成样本重叠的问题,提出一种基于自然最近邻的不平衡数据过采样方法。确定少数类样本的自然最近邻,每个样本的近邻个数由算法自适应计算生成,反映了样本分布的疏密程度。基于自然近邻关系对少... 详细信息

针对现有过采样方法存在的易引入噪声点、合成样本重叠的问题,提出一种基于自然最近邻的不平衡数据过采样方法。确定少数类样本的自然最近邻,每个样本的近邻个数由算法自适应计算生成,反映了样本分布的疏密程度。基于自然近邻关系对少数类样本聚类,由位于同一类簇中密集区域的核心点和稀疏区域的非核心点生成新样本。在二维合成数据集和UCI数据集上的对比实验验证了该方法的可行性和有效性,提高了不平衡数据的分类精度。

关键词：不平衡数据集过采样自然最近邻聚类

在线全文

学校读者我要写书评

暂无评论

基于自然最近邻相似图的谱聚类

计算机应用研究 2020年第1期37卷 30-33,39页

作者：刘友超张曦煌江南大学物联网工程学院江苏无锡214122

传统谱聚类算法经常在处理一些结构复杂的数据集时效果不太理想,并且其相似度矩阵构造时参数的选取往往需要依靠多次实验及个人经验。在这种情况下,提出一种基于自然最近邻相似图的谱聚类(NSG-SC)算法。自然最近邻是一种新颖的最近邻概... 详细信息

传统谱聚类算法经常在处理一些结构复杂的数据集时效果不太理想,并且其相似度矩阵构造时参数的选取往往需要依靠多次实验及个人经验。在这种情况下,提出一种基于自然最近邻相似图的谱聚类(NSG-SC)算法。自然最近邻是一种新颖的最近邻概念,可以有效地避免K最近邻以及ε-最近邻方法需要人为设置参数的缺点。该算法构造相似度矩阵时依靠数据集自身的特性进行搜索,避免了参数选取不当以及离散点所带来的影响,更加真实地反映了数据集的结构关系。实验结果表明,提出的NSG-SC算法具有可行性和有效性。

关键词：谱聚类自然最近邻相似图相似度矩阵

在线全文

学校读者我要写书评

暂无评论

一种基于自然最近邻的离群检测算法

计算机科学 2014年第3期41卷 276-278,305页

作者：朱庆生唐汇冯骥重庆大学计算机学院软件理论与技术重庆市重点实验室重庆400044

任何涉及k近邻求解问题的算法被应用于处理不同特征的数据集时,参数k值的选择都会明显影响算法的性能和结果。因而,如何选择k近邻算法中敏感参数k值一直是一个研究难点。提出了一种新的近邻关系———自然最近邻,它不需要设置参数k,每... 详细信息

任何涉及k近邻求解问题的算法被应用于处理不同特征的数据集时,参数k值的选择都会明显影响算法的性能和结果。因而,如何选择k近邻算法中敏感参数k值一直是一个研究难点。提出了一种新的近邻关系———自然最近邻,它不需要设置参数k,每个节点的邻居是由算法自适应计算而形成的。针对离群点检测的特殊性,通过确定自然最近邻居搜索算法的终止条件,提出一种基于自然最近邻的新的离群检测算法ODb3N。实验表明,该算法不仅避免了k近邻中参数的选择问题,而且能够更有效地发现离群簇。

关键词： k近邻自然最近邻离群检测离群簇