个性化联邦元学习方法研究

作     者：黄家明 

作者单位：华南理工大学 

学位级别：硕士

导师姓名：杨磊;姚刚

授予年度：2022年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主      题：个性化联邦学习 元学习 自动编码器 非独立同分布 

摘      要：联邦学习是一种能够让多个客户端在不共享数据的情况下协同训练机器学习模型的分布式机器学习技术。然而,已有的研究表明,当客户端之间的数据分布是异构的时候,联邦学习会出现明显的性能下降。为了解决这一具有挑战性的问题,研究人员提出了个性化联邦元学习,其中每个客户端通过在联合训练的全局元模型上进行微调获得个性化模型。尽管个性化联邦元学习在这一问题上取得了不错的成果,但是由于这类方法隐式地假设了不同客户端中采样的任务是来自同一任务分布的,当面临数据异构程度较大的场景时,其依旧会出现性能下降问题。针对上述不足,本文分别研究了基于单模型和基于多模型的个性化联邦元学习。在数据高度异构的情况下,单一的全局模型不能够很好的泛化到所有的数据分布中。为此,本文研究了基于单模型的个性化联邦元学习。相比于传统做法中将所有客户端的本地模型初始化为全局模型进行本地更新,本文提出了p Fed Init,一种通过逐层变换操作将全局模型适应到不同本地数据分布的算法。实验结果表明,所提出的p Fed Init算法在模型精度和通信消耗上均优于已有的基于单模型的联邦元学习算法。然而,当数据分布呈现出多个明显不相交的集群时,单一的全局模型在训练中可能会受到多个差异较大的更新方向的影响,导致其难以收敛到一个稳定点。为此,本文提出了G-FML,一种基于多模型的个性化联邦元学习训练框架。在训练过程中,G-FML框架能够自适应地将具有相似数据分布的客户端划分到同一个分组中,并为每个分组设置独立的元模型以适应不同的任务分布。通过在合成数据集以及真实数据集上的实验表明,相比于最先进的联邦元学习,我们所提出的训练框架最高提高了13.15%的准确率。