检索结果-南通市图书馆

检索条件"主题词=权重分歧"

共 1 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

非独立同分布下的联邦学习优化

非独立同分布下的联邦学习优化

引用

作者：杨霖华中科技大学

学位级别：硕士

人工智能算法模型准确率的提高往往依赖不断地向模型注入大量数据样本来实现,但是由于隐私问题,一些数据敏感型企业难以进行数据共享来训练模型。联邦学习旨在破除数据孤岛,使企业能够在保障隐私的条件下,共建联邦模型。但联邦学习的一... 详细信息

人工智能算法模型准确率的提高往往依赖不断地向模型注入大量数据样本来实现,但是由于隐私问题,一些数据敏感型企业难以进行数据共享来训练模型。联邦学习旨在破除数据孤岛,使企业能够在保障隐私的条件下,共建联邦模型。但联邦学习的一个突出问题就是参与方可能存在数据上的异构性。当参与方所持数据为非独立同分布时,各参与方会更倾向于将模型拟合向自身所持有的数据特征,从而使联邦模型的准确率大受影响。论文提出了本地截断联邦学习算法框架(Federated Learning with Local Trucation,FedLT),在遵守隐私保护原则的前提下,解决非独立同分布环境中联邦模型准确率下降的问题。FedLT提出基于串行学习与数据切片的预训练算法,进行细粒度的知识迁移,作为剪枝训练的基础,使联邦模型在训练起始阶段能够融合并保留更多的均匀数据特征。FedLT提出基于损失的本地训练截断机制,针对参与方的本地更新过程细分阶段,及时截断弱参与方的本地训练,对其进行剪枝,降低其对全局联邦模型的影响。FedLT在剪枝训练的过程中加入了均匀性补偿机制,补偿训练过程中模型所遗忘掉的均匀性数据特征,与截断策略一起对并行训练所产生的权重分歧进行抑制。FedLT提出联邦统一平均算法对模型聚合的方式进行了优化,综合衡量参与方的模型更新方向、模型更新步长、数据集比例对联邦模型的影响。论文对FedLT算法框架在MNIST、Fashion-MNIST、THUCNews数据集上进行了对比实验。实验结果表明,相比于Federated Averaging和LoAdaboost算法,FedLT所得的联邦模型在不同数据分布形式的参与方下,均取得了测试准确率提升的效果,且不平衡性越大,FedLT对模型性能的改善幅度越大。在数据分布极度不平衡时,FedLT所得模型在三个数据集上的测试准确率分别最大提高了48.57%、37.45%、14.67%,并提升了算法模型的训练效率。

关键词：联邦学习非独立同分布权重分歧剪枝

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：