检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于稀疏正则双层优化的个性化联邦学习

模式识别与人工智能 2024年第5期37卷 447-458页

作者：刘希刘博季繁繁袁晓彤南京信息工程大学计算机学院南京210044 Walmart Global Tech Hub SunnyvaleCA 94086USA 南京信息工程大学电子与信息工程学院南京210044 南京大学计算机软件新技术全国重点实验室南京210023 南京大学智能科学与技术学院苏州215163

个性化联邦学习侧重于为各客户端提供个性化模型,旨在提高对异构数据的处理性能,然而现有的个性化联邦学习算法大多以增加客户端参数量为代价提高个性化模型的性能,使计算变得复杂.为了解决此问题,文中提出基于稀疏正则双层优化的个性... 详细信息

个性化联邦学习侧重于为各客户端提供个性化模型,旨在提高对异构数据的处理性能,然而现有的个性化联邦学习算法大多以增加客户端参数量为代价提高个性化模型的性能,使计算变得复杂.为了解决此问题,文中提出基于稀疏正则双层优化的个性化联邦学习算法(Personalized Federated Learning Based on Sparsity Regularized Bi-level Optimization,pFedSRB),在客户端的个性化更新中引入l 1范数稀疏正则化,提升个性化模型的稀疏度,避免不必要的客户端参数更新,降低模型复杂度.将个性化联邦学习建模为双层优化问题,内层优化采用交替方向乘子法,可提高学习速度.在4个联邦学习基准数据集上的实验表明,pFedSRB在异构数据上表现出色,在提高模型性能的同时有效降低训练用时和空间成本.

关键词：个性化联邦学习稀疏正则化非独立同分布(Non-IID) 交替方向乘子法(ADMM)

整县光伏下基于个性化联邦学习的光伏出力及负荷功率预测

在线全文

学校读者我要写书评

暂无评论

电网技术 2023年第11期47卷 4629-4637页

作者：高漪周瑜张安龙郭乐欣陈金富强电磁工程与新技术国家重点实验室(华中科技大学) 湖北省武汉市430074 深圳供电局有限公司广东省深圳市518000

随着整县光伏工程的推进,对分布式屋顶光伏出力及用户负荷功率的准确预测是配电网运行优化的基础。现有基于数据驱动的预测方法对整县光伏场景中不平衡不充分的非独立同分布数据集适应性较低,且无法满足用户日益增强的数据隐私保护意识... 详细信息

随着整县光伏工程的推进,对分布式屋顶光伏出力及用户负荷功率的准确预测是配电网运行优化的基础。现有基于数据驱动的预测方法对整县光伏场景中不平衡不充分的非独立同分布数据集适应性较低,且无法满足用户日益增强的数据隐私保护意识。为此,以用户侧电表历史数据为可用信息,提出一种基于长短期记忆网络(longshort-term memory,LSTM)的个性化联邦学习(personalizedfederated learning,PFL)光伏出力及负荷功率预测方法。该方法应用交换各用户模型参数代替聚合所有用户原始数据,提高了训练效率,保障了数据隐私。通过上传部分而非全部模型参数的方式保留用户个性化差异,提高了模型对单个用户的预测准确度,增强了算法在不平衡数据集上的适应能力。以澳大利亚配电网光伏及负荷数据为例进行分析,验证了所提建模方法的有效性与优越性。

关键词：整县光伏功率预测长短期记忆网络个性化联邦学习隐私保护

基于Bregman散度和差分隐私的个性化联邦学习方法

在线全文

学校读者我要写书评

暂无评论

软件学报 2024年第11期35卷 5249-5262页

作者：张少波张激勇朱更明龙赛琴李哲涛湖南科技大学计算机科学与工程学院湖南湘潭411201 暨南大学信息科学技术学院广东广州510632

联邦学习因能解决数据孤岛问题而被广泛关注,但也存在用户隐私泄露风险和非独立同分布数据下模型异构导致性能下降的问题.针对该问题,提出基于Bregman散度和差分隐私的个性化联邦学习方法(FedBDP).所提方法采用Bregman散度衡量本地参数... 详细信息

联邦学习因能解决数据孤岛问题而被广泛关注,但也存在用户隐私泄露风险和非独立同分布数据下模型异构导致性能下降的问题.针对该问题,提出基于Bregman散度和差分隐私的个性化联邦学习方法(FedBDP).所提方法采用Bregman散度衡量本地参数与全局参数的差异,并将其作为正则化项更新损失函数,以减小模型差异来提升模型准确率.同时,采用自适应差分隐私技术对本地模型参数进行扰动,通过定义衰减系数动态调整每轮差分隐私噪声的大小,以合理分配隐私噪声大小并提升模型可用性.理论分析表明FedBDP在强凸和非凸光滑函数下满足收敛条件.实验结果验证该方法在满足差分隐私的前提下,FedBDP模型在MNIST和CIFAR10数据集下能够保证模型准确率.

关键词：隐私保护个性化联邦学习差分隐私 Bregman散度

基于合作博弈和知识蒸馏的个性化联邦学习算法

在线全文

学校读者我要写书评

暂无评论

电子与信息学报 2023年第10期45卷 3702-3709页

作者：孙艳华史亚会李萌杨睿哲司鹏搏北京工业大学信息学部北京100124 北京工业大学先进信息网络北京实验室北京100124

为克服联邦学习(FL)客户端数据和模型均需同构的局限性并且提高训练精度,该文提出一种基于合作博弈和知识蒸馏的个性化联邦学习(pFedCK)算法。在该算法中,每个客户端将在公共数据集上训练得到的局部软预测上传到中心服务器并根据余弦相... 详细信息

为克服联邦学习(FL)客户端数据和模型均需同构的局限性并且提高训练精度,该文提出一种基于合作博弈和知识蒸馏的个性化联邦学习(pFedCK)算法。在该算法中,每个客户端将在公共数据集上训练得到的局部软预测上传到中心服务器并根据余弦相似度从服务器下载最相近的k个软预测形成一个联盟,然后利用合作博弈中的夏普利值(SV)来衡量客户端之间多重协作的影响,量化所下载软预测对本地个性化学习效果的累计贡献值,以此确定联盟中每个客户端的最佳聚合系数,从而得到更优的聚合模型。最后采用知识蒸馏(KD)将聚合模型的知识迁移到本地模型,并在隐私数据集上进行本地训练。仿真结果表明,与其他算法相比,pFedCK算法可以将个性化精度提升约10%。

关键词：个性化联邦学习合作博弈论知识蒸馏异构性

在线全文

学校读者我要写书评

暂无评论

个性化联邦学习中的隐私保护技术研究

个性化联邦学习中的隐私保护技术研究

作者：孙宇珊西安电子科技大学

学位级别：硕士

信息时代的来临催生了人工智能技术的快速发展,为打破数据孤岛,同时避免传统机器学习模式集中收集训练数据带来的隐私威胁,联邦学习技术得以诞生。联邦学习由一个中央服务器与多个参与者组成,通过多次迭代共同训练一个全局模型。尽管前... 详细信息

信息时代的来临催生了人工智能技术的快速发展,为打破数据孤岛,同时避免传统机器学习模式集中收集训练数据带来的隐私威胁,联邦学习技术得以诞生。联邦学习由一个中央服务器与多个参与者组成,通过多次迭代共同训练一个全局模型。尽管前景看好,联邦学习应用到实际场景中时仍然遇到了很多的挑战,其中最为突出的就是异构问题与隐私问题。首先,联邦学习作为一种分布式机器学习框架,其训练数据在各个客户端的分布往往非均匀,数据的质量、规模以及内容都表现出鲜明的个人特点,这就使得全局模型在部分客户端的效果与用户的期望相去甚远。为避免异构场景下单一全局模型的性能问题,如何在联邦学习的基础上为用户设计个性化模型成为了一个重要的研究方向。其次,联邦学习不足以提供完全有效的隐私保护能力,攻击者可以根据用户上传到中央服务器的参数或梯度来反推出数据信息,从而造成隐私泄露。因此如何设计有效的隐私保护方法也是联邦学习中一个值得深入研究的问题。为同时解决联邦学习中的异构问题与隐私问题,实现二者的有效结合,本文分别基于差分隐私技术与c Mix匿名通信网络设计了两种具有隐私保护能力的个性化联邦学习方案。本文首先基于差分隐私中的拉普拉斯机制提出了一种具有隐私保护能力的个性化联邦学习算法,并针对本地加噪严重影响模型精度的问题对拉普拉斯机制进行了改进。本方案将用户本地模型分为基础层与个性化层,在每轮迭代过程中,对基础层的每一层分别添加拉普拉斯噪声,并将扰动后的参数根据原参数的边界值进行截取,再将结果发送至中央服务器进行聚合。本文还通过理论分析证明了改进后的拉普拉斯机制满足严格差分隐私定义,最后通过实验分析了基础层数量、隐私预算以及数据异构程度对系统准确率的影响,并与传统联邦学习算法和传统拉普拉斯机制进行对比,验证本方案的有效性。本文还提出一种基于c Mix的个性化联邦学习方案,为避免原有基于匿名网络的隐私放大方法引入差分隐私所带来的精度损失,本文设计了一种隐私聚合协议来防止服务器直接接触原始参数。整个训练过程分为参与者权重分配阶段、密钥生成阶段、预计算阶段与实时阶段。在参数上传之前,用户将基础层参数乘以分配到的权重并使用公钥进行加密,再经c Mix混淆后发送给中央服务器,中央服务器则根据参与者公钥之和解密聚合结果,从而完成一轮迭代。由于本方案没有对参数做除加密外的其他修改,因此可以扩展到其他个性化联邦学习框架,如元学习、迁移学习等。接下来本文通过安全性分析,验证了方案可以达成身份不可关联性与数据机密性。最后本文通过实验分析了基础层数量与实时阶段通信时延的关系,并与安全洗牌方案进行对比,验证本方案在保持系统准确率上具有一定的优越性。

关键词：联邦学习个性化联邦学习隐私保护差分隐私 cMix

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

个性化联邦学习算法设计与实现

个性化联邦学习算法设计与实现

作者：魏森辉华东师范大学

学位级别：硕士

近年来,随着数据孤岛问题的出现以及用户对数据隐私安全的顾虑,传统集中式机器学习方法受到了质疑,而联邦学习作为一种具有隐私保护的分布式机器学习技术,可以在数据不出本地的前提下,实现模型的联合训练。联邦学习自提出以来便受到学... 详细信息

近年来,随着数据孤岛问题的出现以及用户对数据隐私安全的顾虑,传统集中式机器学习方法受到了质疑,而联邦学习作为一种具有隐私保护的分布式机器学习技术,可以在数据不出本地的前提下,实现模型的联合训练。联邦学习自提出以来便受到学术界和工业界的密切关注,但依然存在诸多挑战。其中,针对数据异构性挑战,个性化联邦学习由于能对客户端进行个性化处理,为每个参与方训练出性能较好的个性化模型,成为了一种有效的解决方法。然而在数据异构场景下,现有的个性化联邦学习方法在分类数据集上的效果仍然有较大的提升空间。在个性化联邦学习中,还可以对客户端本地数据中的局部知识和客户端数据之间的全局知识做进一步地挖掘。为了克服上述缺陷,本章提出了相应的改进方法:1.针对全局知识未被更好地利用的问题,本文提出了一种基于原型对比学习的个性化联邦学习模型。在数据域异构场景下,本文设计了一种基于原型对比学习的个性化联邦学习模型。利用信息强化层的输出表征作为数据原型,与所有类别的全局原型计算对比损失,从而充分利用全局知识,缓解数据异构性的影响,提高模型的性能。本文通过实验验证了该模型的有效性。2.针对参数聚合缺乏个性化的问题,本文提出了一种新的个性化参数聚合策略。传统的联邦学习算法根据客户端数据量大小确定参数聚合的权重,缺乏个性化。本文设计了一种个性化的参数聚合策略,利用客户端级别的原型信息,计算客户端之间的相似度,从而实现个性化的参数聚合。本文通过实验验证了该参数聚合策略的有效性。3.针对局部个性化和全局泛化的权衡问题,本文提出一种基于多任务学习的个性化联邦学习模型。之前的个性化联邦学习方法,追求个性化的同时削弱了全局泛化能力。为此本文提出了一种基于多任务学习的个性化联邦学习模型。模型学习过程分成学习本地局部信息和学习全局信息两个任务,通过设计专家网络和门控网络,让模型权衡好本地模型训练时所用的局部信息和全局信息,充分挖掘本地数据分布和全局数据分布之间的隐式关系,提高个性化联邦学习模型的性能。本文通过实验验证了该模型的有效性。总的来说,本文针对数据异构场景下现有个性化联邦学习方法存在的不足之处进行了研究和改进,提出了一种基于原型对比学习的个性化联邦学习模型、新的个性化参数聚合策略以及一种基于多任务学习的个性化联邦学习模型,最后通过大量实验验证了所提出方案的可行性和有效性,该研究成果在个性化联邦学习领域具有一定的应用价值。

关键词：个性化联邦学习原型对比学习个性化参数聚合多任务学习

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于互信息软聚类的个性化联邦学习算法

计算机工程 2023年第8期49卷 20-28页

作者：郑美光杨泳中南大学计算机学院长沙410083

联邦学习是一种为多个客户协作训练机器学习模型的分布式机器学习技术,同时能够保护客户数据隐私,但客户数据异构性限制了联邦学习的应用,对此,个性化联邦学习是一种可行的解决方案。传统基于聚类的个性化联邦学习方案将具有相同数据分... 详细信息

联邦学习是一种为多个客户协作训练机器学习模型的分布式机器学习技术,同时能够保护客户数据隐私,但客户数据异构性限制了联邦学习的应用,对此,个性化联邦学习是一种可行的解决方案。传统基于聚类的个性化联邦学习方案将具有相同数据分布的客户划分为一个集群,利用部分客户数据同构的特点减少了数据异构对联邦学习的影响,但忽略了客户属于多个集群的可能性。基于客户数据近似服从多种数据分布的思想,提出基于互信息软聚类的个性化联邦学习算法(pFedMS)。针对目前联邦学习客户聚类指标无法准确反映模型特征相似性的不足,给出基于模型特征的互信息公式作为聚类指标,有效区分相似客户;提出基于类内距离和类间距离的聚类合理性衡量方法,用于动态调整聚类结果;根据隶属度计算客户与集群的相似性,允许客户同时属于多个集群,提高聚类算法的性能。在CIFAR-10和FMNIST数据集上的实验结果表明,pFedMS算法相较于FedAvg、CFL等对比算法,客户最高平均测试准确率提高了2.4~3.0个百分点。

关键词：个性化联邦学习数据偏差软聚类模型特征互信息

在线全文

学校读者我要写书评

暂无评论

基于个性化联邦学习的异构船舶航行油耗预测

计算机集成制造系统 2024年

作者：韩沛秀孙卓刘忠波闫椿昕大连海事大学交通运输工程学院中华人民共和国宝山海事局复旦大学国际关系与公共事务学院

船舶航行油耗的精准预测，对保护海洋环境、减少航运业运营成本起关键作用，但航运业船舶的数据私密性、及异构船舶的数据异质性，导致常规机器学习方法的预测效果有限。为此，提出一种基于类别型特征的梯度提升（Categorical Boosting... 详细信息

船舶航行油耗的精准预测，对保护海洋环境、减少航运业运营成本起关键作用，但航运业船舶的数据私密性、及异构船舶的数据异质性，导致常规机器学习方法的预测效果有限。为此，提出一种基于类别型特征的梯度提升（Categorical Boosting， CatBoost）联合个性化联邦学习(personalized federated learning， PFL)预测方法。首先，对本地不同数据源的船舶信息数据及海况数据进行数据融合和清洗过滤，以提高输入数据质量；其次，对本地融合数据用CatBoost进行特征选取，以去除冗余数据；随后，引入带个性化层的联邦学习（Federated Learning with Personalization Layers， FedPer）框架，建立异构船舶航行油耗预测模型，以保证异构船舶的数据私密性；进一步，对基本层权重矩阵采用联邦平均算法（Federated Averaging Algorithm， FedAvg）聚合参数并反馈，对个性化层权重矩阵由本地客户端采用深度前馈神经网络（Deep Feedforward Neural Network， DFNN）进行训练优化，以消除数据异质性的影响，提高预测精度。最后，结合实际异构船舶航行油耗算例进行对比实验，结果表明，相比于其他模型，CatBoost联合个性化联邦学习预测方法的预测精度更高，对降低异构船舶航行油耗具有一定的指导意义。

关键词：异构船舶航行油耗预测个性化联邦学习基于类别型特征的梯度提升联邦平均算法深度前馈神经网络

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于双流神经网络的个性化联邦学习方法

计算机应用 2024年第8期44卷 2319-2325页

作者：沈哲远杨珂珂李京中国科学技术大学计算机科学与技术学院合肥230027

经典的联邦学习(FL)算法在数据高度异构的场景下难以取得较好的效果。个性化联邦学习(PFL)针对数据异构问题,提出新的解决方案,即为每个客户端“量身定做”专属模型,这样模型会拥有较好的性能;然而同时会引出难以将FL扩展到新客户端上... 详细信息

经典的联邦学习(FL)算法在数据高度异构的场景下难以取得较好的效果。个性化联邦学习(PFL)针对数据异构问题,提出新的解决方案,即为每个客户端“量身定做”专属模型,这样模型会拥有较好的性能;然而同时会引出难以将FL扩展到新客户端上的问题。针对PFL中的性能与扩展的难题展开研究,提出基于双流神经网络结构的联邦学习模型,简称FedDual。双流神经网络模型通过增加一个用于分析客户端个性化特征的编码器,既能拥有个性化模型的性能,又便于扩展到新客户端。实验结果表明,相较于经典联邦平均(FedAvg)算法,FedDual在MNIST和FashionMNIST等数据集上的准确率有明显提升,而在CIFAR10数据集上的准确率提升了10个百分点以上,且面对新客户端保持准确率不下降,实现了“即插即用”,解决了新客户端难以扩展的问题。

关键词：联邦学习个性化联邦学习数据异构双流神经网络新客户端问题