检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

非独立同分布下的K-Modes算法

计算机工程与设计 2023年第1期44卷 182-187页

作者：周慧鑫姜合王艳梅齐鲁工业大学(山东省科学院)计算机科学与技术学院山东济南250353

传统的K-Modes算法中,初始聚类中心是随机选取的,聚类结果过分依赖初始聚类中心的选择,影响聚类效果。在很多K-Modes算法的研究中假设数据是独立同分布的,在现实的数据中,数据对象和属性之间是根据某些耦合关系彼此关联的,是非独立同分... 详细信息

传统的K-Modes算法中,初始聚类中心是随机选取的,聚类结果过分依赖初始聚类中心的选择,影响聚类效果。在很多K-Modes算法的研究中假设数据是独立同分布的,在现实的数据中,数据对象和属性之间是根据某些耦合关系彼此关联的,是非独立同分布的。针对这两方面问题,通过基于层次聚类进行预聚类的方法改进选取初始中心的方法,引入非独立同分布思想计算相异度量,进行实验验证。实验结果表明,通过改进初始中心的选取方法和相异度量的计算方法很好改进了K-Modes算法,提高了算法的聚类精度。

关键词： K-Modes算法初始中心独立同分布非独立同分布耦合关系层次聚类相异度度量

非独立同分布数据下的去中心化联邦学习方法研究与应用

在线全文

学校读者我要写书评

暂无评论

非独立同分布数据下的去中心化联邦学习方法研究与应用

作者：昌录仪黑龙江大学

学位级别：硕士

联邦学习作为新兴的机器学习方法,可以协同多个参与者在不共享数据的情况下进行模型训练,从而保护本地数据的隐私。然而,在传统联邦学习中,参与者需要将本地模型更新上传至信任的中心节点进行模型聚合,这种网络架构可能存在单点故障和... 详细信息

联邦学习作为新兴的机器学习方法,可以协同多个参与者在不共享数据的情况下进行模型训练,从而保护本地数据的隐私。然而,在传统联邦学习中,参与者需要将本地模型更新上传至信任的中心节点进行模型聚合,这种网络架构可能存在单点故障和通信开销过大的问题。相较于传统联邦学习,在去中心化联邦学习中不需要一个客户端共同信任的中心节点,而是将模型聚合和更新操作分散在参与者之间进行,以减少通信开销和降低单点故障的风险。去中心化联邦学习虽然有以上两点优势,但联邦学习中面临的问题在去中心化联邦学习中仍然存在,尤其是数据异构问题和隐私安全问题。在数据异构方面,由于客户端的设备不同,并且不同客户端的数据集来自不同地区或通过不同的采集方式进行收集,可能会导致各个客户端的数据异构,这些异构数据在进行训练时,对模型的性能会造成很大的影响。在本文中,数据异构主要为数据集的非独立同分布问题。在隐私安全方面,由于参与者需要共享模型信息,当系统中存在非诚实的客户端时,将要面临模型数据泄露的风险。上述这两个问题严重限制了去中心化联邦学习在现实场景中的推广和应用。基于以上两个问题,本文提出了DFedML和DFedML-blockchain算法,旨在解决去中心化联邦学习中的数据异构和隐私安全问题。其中,DFedML算法通过用户之间模型的相似性来选出最佳的邻居节点模型,并根据相互学习算法改进本地模型更新过程中的损失函数的计算,在某种程度上解决了异构数据带来的问题提升了模型性能。针对DFedML算法的实验结果表明,该算法实验效果显著。然而,DFedML算法在训练时需要将本地模型直接发送给邻居节点,可能导致模型数据泄露。为此,基于DFedML方法提出了保护数据隐私的算法DFedML-blockchain,主要通过上传模型至区块链来保护模型隐私。此外,基于区块链的特性,本文还在该方法中加入了一个基于Logits的概率矩阵来优化模型选择过程。具体地,主要是通过各个客户端的矩阵的余弦相似度来选择最佳模型与本地模型进行相互学习,降低DFedML-blockchain模型的训练时间。实验表明,该算法在只降低较少的性能的同时,保护了模型的隐私,减少了训练时间。

关键词：联邦学习相互学习区块链非独立同分布

面向非独立同分布数据的联邦学习数据增强方案

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

通信学报 2023年第1期44卷 164-176页

作者：汤凌韬王迪刘盛云数学工程与先进计算国家重点实验室江苏无锡214125 上海交通大学网络空间安全学院上海200240

为了解决联邦学习节点间数据非独立同分布(non-IID)导致的模型精度不理想的问题,提出一种隐私保护的数据增强方案。首先,提出了面向联邦学习的数据增强框架,参与节点在本地生成虚拟样本并在节点间共享,有效缓解了训练过程中数据分布差... 详细信息

为了解决联邦学习节点间数据非独立同分布(non-IID)导致的模型精度不理想的问题,提出一种隐私保护的数据增强方案。首先,提出了面向联邦学习的数据增强框架,参与节点在本地生成虚拟样本并在节点间共享,有效缓解了训练过程中数据分布差异导致的模型偏移问题。其次,基于生成式对抗网络和差分隐私技术,设计了隐私保护的样本生成算法,在保证原数据隐私的前提下生成可用的虚拟样本。最后,提出了隐私保护的标签选取算法,保证虚拟样本的标签同样满足差分隐私。仿真结果表明,在多种non-IID数据划分策略下,所提方案均能有效提高模型精度并加快模型收敛,与基准方法相比,所提方案在极端non-IID场景下能取得25%以上的精度提升。

关键词：联邦学习非独立同分布生成式对抗网络差分隐私数据增强

非独立同分布推荐系统:推荐范式转换的综述和框架

在线全文

学校读者我要写书评

暂无评论

Engineering 2016年第2期2卷 229-243页

作者： Longbing Cao Advanced Analytics Institute University of Technology SydneySydneyNSW 2007Australia

虽然推荐系统在我们的生活、学习、工作和娱乐中扮演着越来越重要的角色,但是很多时候我们收到的推荐都是不相关的、重复的,或者包含不感兴趣的产品和服务。这些差的推荐系统产生的原因来源于一个本征假设:传统的理论和推荐系统认为用... 详细信息

虽然推荐系统在我们的生活、学习、工作和娱乐中扮演着越来越重要的角色,但是很多时候我们收到的推荐都是不相关的、重复的,或者包含不感兴趣的产品和服务。这些差的推荐系统产生的原因来源于一个本征假设:传统的理论和推荐系统认为用户和物品是独立同分布的(IID)。另一个明显的现象是,虽然投入了很多的精力模拟用户或者物品的特殊属性,但用户和物品的总体属性及它们之间的非独立同分布性(non-IID)被忽略了。本文先讨论了推荐系统的非独立同分布性,紧接着介绍了非独立同分布性原理,目的是从耦合和异构性的角度来深入阐述传统的推荐系统的固有本质。这种非独立同分布推荐系统引起了传统推荐系统范式的转化——从独立同分布向非独立同分布进行转化,希望能够形成高效的、相关性高的、个人订制和可操作的推荐系统。这种系统创造了令人兴奋的能够解决包含冷启动、以稀疏数据为基础、跨域、基于群组信息和欺诈攻击等各种复杂情况的新的研究方向和解决方案。

关键词：独立同分布非独立同分布异构性关系耦合耦合学习关系学习独立同分布学习非独立同分布学习推荐系统推荐非独立同分布推荐

在线全文

学校读者我要写书评

暂无评论

非独立同分布下数值型数据的KNN算法改进

计算机工程与设计 2021年第10期42卷 2816-2822页

作者：孙聪慧姜合相益萱齐鲁工业大学(山东省科学院)计算机科学与技术学院山东济南250353

为挖掘数据的非独立同分布关系并解决传统KNN算法中存在的分类结果不准确的问题,提出一种非独立同分布下数值型数据的KNN改进算法。利用Pearson相关系数公式得出耦合相似度矩阵,通过该耦合相似度矩阵计算样本的类隶属度,通过ReliefF算... 详细信息

为挖掘数据的非独立同分布关系并解决传统KNN算法中存在的分类结果不准确的问题,提出一种非独立同分布下数值型数据的KNN改进算法。利用Pearson相关系数公式得出耦合相似度矩阵,通过该耦合相似度矩阵计算样本的类隶属度,通过ReliefF算法思想进行特征权重的计算,根据训练样本的类隶属度和特征权重更新类别决策规则,确定待分类样本的类别。对多个UCI数据集的验证结果表明,该算法能够有效提高分类准确率。

关键词：非独立同分布 KNN算法 Pearson相关系数类隶属度特征权重

在线全文

学校读者我要写书评

暂无评论

面向非独立同分布数据的联邦学习架构

计算机工程 2023年第7期49卷 110-117页

作者：邱天晨郑小盈祝永新封松林中国科学院上海高等研究院上海201210 中国科学院大学北京100049

在超大规模边缘设备参与的联邦学习场景中,参与方本地数据为非独立同分布,导致总体训练数据不均衡且毒药攻击防御困难。有监督学习中增强数据均衡的多数方法所要求的先验知识与联邦学习的隐私保护原则发生冲突,而针对非独立同分布场景... 详细信息

在超大规模边缘设备参与的联邦学习场景中,参与方本地数据为非独立同分布,导致总体训练数据不均衡且毒药攻击防御困难。有监督学习中增强数据均衡的多数方法所要求的先验知识与联邦学习的隐私保护原则发生冲突,而针对非独立同分布场景中的毒药攻击,现有的防御算法则过于复杂或侵害数据隐私。提出一种多服务器架构FedFog,其能在不泄露参与方本地数据分布的前提下,对数据分布相似的参与方进行聚类,将非独立同分布的训练数据转换成多个独立同分布的数据子集。基于各聚类中心,全局服务器计算出从各类别数据中提取的特征在全局模型更新时的权重,从而缓解总体训练数据不均衡的负面影响。同时,将毒药攻击防御任务从参与方全集分配至每个聚类内部,从而解决毒药攻击防御问题。实验结果表明:在总体训练数据不均衡的场景中,FedFog的全局模型精度相较FedSGD最多获得了4.2个百分点的提升;在总体数据均衡但1/3的参与方为毒药攻击者的场景中,FedFog的收敛性接近于无毒药攻击场景中的FedSGD。

关键词：非独立同分布隐私保护聚类数据均衡毒药攻击防御

非独立同分布数据下联邦学习算法中优化器的对比分析

在线全文

学校读者我要写书评

暂无评论

计算机系统应用 2024年第5期33卷 228-238页

作者：傅刚福州职业技术学院特殊教育系福州350108

在联邦学习环境中选取适宜的优化器是提高模型性能的有效途径,尤其在数据高度异构的情况下.本文选取FedAvg算法与FedALA算法作为主要研究对象,并提出其改进算法pFedALA.pFedALA通过令客户端在等待期间继续本地训练,有效降低了由于同步... 详细信息

在联邦学习环境中选取适宜的优化器是提高模型性能的有效途径,尤其在数据高度异构的情况下.本文选取FedAvg算法与FedALA算法作为主要研究对象,并提出其改进算法pFedALA.pFedALA通过令客户端在等待期间继续本地训练,有效降低了由于同步需求导致的资源浪费.在此基础上,本文重点分析这3种算法中优化器的作用,通过在MNIST和CIFAR-10数据集上测试,比较了SGD、Adam、ASGD以及AdaGrad等多种优化器在处理非独立同分布(Non-IID)、数据不平衡时的性能.其中重点关注了基于狄利克雷分布的实用异构以及极端的异构数据设置.实验结果表明:1) pFedALA算法呈现出比FedALA算法更优的性能,表现为其平均测试准确率较FedALA提升约1%;2)传统单机深度学习环境中的优化器在联邦学习环境中表现存在显著差异,与其他主流优化器相比,SGD、ASGD与AdaGrad优化器在联邦学习环境中展现出更强的适应性和鲁棒性.

关键词：联邦学习个性化联邦学习优化器非独立同分布

在线全文

学校读者我要写书评

暂无评论

非独立同分布下的联邦学习优化

非独立同分布下的联邦学习优化

作者：杨霖华中科技大学

学位级别：硕士

人工智能算法模型准确率的提高往往依赖不断地向模型注入大量数据样本来实现,但是由于隐私问题,一些数据敏感型企业难以进行数据共享来训练模型。联邦学习旨在破除数据孤岛,使企业能够在保障隐私的条件下,共建联邦模型。但联邦学习的一... 详细信息

人工智能算法模型准确率的提高往往依赖不断地向模型注入大量数据样本来实现,但是由于隐私问题,一些数据敏感型企业难以进行数据共享来训练模型。联邦学习旨在破除数据孤岛,使企业能够在保障隐私的条件下,共建联邦模型。但联邦学习的一个突出问题就是参与方可能存在数据上的异构性。当参与方所持数据为非独立同分布时,各参与方会更倾向于将模型拟合向自身所持有的数据特征,从而使联邦模型的准确率大受影响。论文提出了本地截断联邦学习算法框架(Federated Learning with Local Trucation,FedLT),在遵守隐私保护原则的前提下,解决非独立同分布环境中联邦模型准确率下降的问题。FedLT提出基于串行学习与数据切片的预训练算法,进行细粒度的知识迁移,作为剪枝训练的基础,使联邦模型在训练起始阶段能够融合并保留更多的均匀数据特征。FedLT提出基于损失的本地训练截断机制,针对参与方的本地更新过程细分阶段,及时截断弱参与方的本地训练,对其进行剪枝,降低其对全局联邦模型的影响。FedLT在剪枝训练的过程中加入了均匀性补偿机制,补偿训练过程中模型所遗忘掉的均匀性数据特征,与截断策略一起对并行训练所产生的权重分歧进行抑制。FedLT提出联邦统一平均算法对模型聚合的方式进行了优化,综合衡量参与方的模型更新方向、模型更新步长、数据集比例对联邦模型的影响。论文对FedLT算法框架在MNIST、Fashion-MNIST、THUCNews数据集上进行了对比实验。实验结果表明,相比于Federated Averaging和LoAdaboost算法,FedLT所得的联邦模型在不同数据分布形式的参与方下,均取得了测试准确率提升的效果,且不平衡性越大,FedLT对模型性能的改善幅度越大。在数据分布极度不平衡时,FedLT所得模型在三个数据集上的测试准确率分别最大提高了48.57%、37.45%、14.67%,并提升了算法模型的训练效率。

关键词：联邦学习非独立同分布权重分歧剪枝

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

非独立同分布下异构数据KNN算法研究

非独立同分布下异构数据KNN算法研究

作者：孙聪慧齐鲁工业大学

学位级别：硕士

数据挖掘顾名思义就是从海量数据中挖掘出对于企业或者个人来说有用的信息,因为数据挖掘能够为企业创造出更大的利益,所以数据挖掘的相关算法与技术层出不穷,并且已经广泛应用到了许多领域,成为推动大数据发展不可或缺的动力。分类分析... 详细信息

数据挖掘顾名思义就是从海量数据中挖掘出对于企业或者个人来说有用的信息,因为数据挖掘能够为企业创造出更大的利益,所以数据挖掘的相关算法与技术层出不穷,并且已经广泛应用到了许多领域,成为推动大数据发展不可或缺的动力。分类分析是数据挖掘算法中的经典算法之一,其中KNN算法因其原理简单易懂又易于实现等特点被广泛的应用到数据挖掘领域。但因其也存在一些缺陷,如训练样本不均衡问题、冗余特征等会对分类结果产生影响,故而众多学者对其提出改进。然而传统KNN算法及众多改进算法均基于独立同分布,而现实生活中的数据大多数是以非独立同分布的形式存在的,也就是说数据对象之间、数据对象的属性之间以及属性值之间都会存在一定的相互联系,这些相互联系如果被忽略则会错失一些重要信息,从而导致分类结果不准确。因此本文基于非独立同分布思想对KNN算法进行了相关改进。本文的主要研究工作包括以下三点:第一,针对数值型数据,为解决传统KNN算法中因为训练样本不均衡和易受单个属性影响导致分类结果不准确的问题,提出一种基于类隶属度和特征权重的CFW-KNN算法。该算法通过计算数据密度确定球中心点和半径建立最小包围球,并根据训练样本所处位置确定类隶属度,再通过Relief F算法思想进行特征权重的计算,最后根据训练样本的类隶属度和特征权重更新类别决策规则,从而确定待分类样本的类别。实验结果表明,CFW-KNN算法能够使分类结果更加准确,提高分类准确率。第二,针对数值型数据,在改进后的CFW-KNN算法中运用非独立同分布思想,通过对数据集中各类隐含关系的挖掘,提出一种非独立同分布下的NIID＿CFW＿KNN算法。该算法首先利用改进后的Pearson相关系数公式整合出数据对象的耦合相似度矩阵,将原始数据集转化为具有耦合关系的新数据集,并将新数据集应用于CFW-KNN算法进行分类分析。实验结果表明,NIID＿CFW＿KNN算法的分类准确率有进一步的提升。第三,针对异构型数据,在NIID＿CFW＿KNN算法的基础上运用非独立同分布思想对类别型数据和数值型数据进行全局耦合关系分析,提出一种非独立同分布下针对异构型数据的NIID＿MCFW＿KNN算法。该算法充分挖掘出存在于类别型数据内部、数值型数据内部以及类别型数据和数值型数据之间的耦合关系,并将具有耦合关系的新数据集应用于CFW-KNN算法进行分类分析。实验结果证明,NIID＿MCFW＿KNN算法对异构型数据具有较好的分类效果。

关键词：非独立同分布 KNN算法类隶属度特征权重异构型数据