面向异构场景的联邦学习客户端选择方法

作     者：张凌羽 

作者单位：吉林大学 

学位级别：硕士

导师姓名：李强

授予年度：2024年

学科分类：12[管理学] 13[艺术学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 07[理学] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0835[工学-软件工程] 0802[工学-机械工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：联邦学习 客户端选择 异构场景 层次聚类 模型相似性 

摘      要：在大数据时代的背景下,各类智能电子设备每天都在产生大量数据,各类数据的规模和类型在不断增加,人工智能技术因此得以飞速发展。然而如何保证数据安全和用户隐私已成为如今人工智能技术的一大挑战。面对这一挑战,谷歌提出了联邦学习这一概念。联邦学习可以使各参与方无需共享本地数据资源而进行数据联合建模,解决数据孤岛问题。 然而,在现实环境中进行的联邦学习训练常处于异构场景下,面临着资源异构性和数据异构性的挑战。参与联邦学习的设备在硬件配置、计算能力、网络速度等方面存在显著差异,即资源异构性。在每一轮迭代过程中,这种资源异构性增加了各设备协同训练的开销,延长了总体训练时间,降低了训练效率。并且这些设备所持有的数据在分布、类型、质量和规模等方面也存在显著差异,即数据异构性。此类异构数据对全局模型的聚合引入了偏差,导致全局模型性能下降,影响模型精度和收敛性。 现有研究提出通过客户端选择方法解决上述问题,然而仍存在采样不均匀,无法覆盖全部数据分布或只提升训练速度而忽略了模型精度的问题。因此,本文提出两种方法,以提升联邦学习异构场景下的性能表现。 1.针对数据异构场景下各客户端数据分布不同,因采样不均匀导致模型之间存在权重差异,使得聚合后的全局模型精度下降的问题,本文提出了一种基于层次聚类的客户端选择方法Fed HC。Fed HC计算本地模型与全局模型的余弦相似度,在使用该相似度进行层次聚类后根据聚类大小降序排序,再通过对聚类进行拆分并重新组合从而生成新的客户端分布。然后根据分布中的聚类内客户端数量从每个分布中依次选择客户端聚类,接下来在选出的聚类中根据客户端样本大小再次进行选择,从而得到最终的客户端子集。 2.针对同时面对资源异构和数据异构场景,现有方法无法实现训练效率和模型准确率之间的良好平衡的问题,本文提出了一种资源高效的聚类协同联邦学习客户端选择方法Fed RE。Fed RE根据各客户端的资源信息将其分组并为每组赋予不同的被选择次数,在每轮训练中以每组客户端的平均准确率作为间接度量选择客户端分组。在每组内根据各客户端之间的模型相似度生成相似性矩阵并进行聚类,每次训练依次从不同聚类中选择参与训练次数较少的客户端参与训练。 3.最后,本文在MNIST、Fashion-MNIST和CIFAR-10三种数据集上,将Fed HC和Fed RE方法分别与两种基线算法Fed Avg和Fed Prox进行对比实验。Fed HC在准确率方面最多可以提高2.98%和2.51%,Fed RE在准确率方面最多可以提高3.61%和2.25%,而在训练时间上Fed RE最大可以提升20%和33%。验证了Fed HC和Fed RE两种方法在异构场景下对联邦学习的性能提升的有效性。