面向动态聚合的异步联邦学习系统设计与实现

作     者：汤文涛 

作者单位：郑州大学 

学位级别：硕士

导师姓名：刘敏

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0839[工学-网络空间安全] 0835[工学-软件工程] 0811[工学-控制科学与工程] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：异步联邦学习 差分隐私 动态聚合 K-means聚类 

摘      要：联邦学习是一种以隐私保护为前提的分布式机器学习范式,用户首先完成本地模型训练,然后共享本地模型参数并通过聚合的方式得到高精度全局模型。联邦学习通常采用同步聚合方式进行模型聚合,即收集到所有客户端的本地模型后一起完成全局模型的聚合。但实际情况下,客户端之间存在数据量、处理能力等方面的差异,使得训练时间不一致,导致全局模型出现聚合时间长、聚合效率低等问题,从而严重影响联邦学习的性能。为了应对上述问题,相关工作提出可以采用异步聚合方式,即不需要等待全部客户端训练完成,每当有客户端训练完成即可进行全局聚合,从而提升全局模型聚合效率。然而现有的异步联邦学习研究工作在进行全局聚合时每轮仅选择固定个数的客户端,使得部分客户端参与聚合不及时,导致客户端本地模型过时,从而影响联邦学习的全局模型精度。另一方面,尽管联邦学习可以做到数据不出本地,但是其处理过程中还存在一定安全隐患,可能存在恶意服务器识别模型参数来源,甚至可以通过客户端多次提交的模型推测出原有数据信息,进而造成用户的隐私泄露,因此需要为联邦学习过程引入合理的隐私保护机制。基于上述分析,本文设计并实现了一个面向动态聚合的异步联邦学习系统,有效地解决了因聚合客户端数量不合理导致的模型过时问题,以及恶意服务器攻击带来的隐私泄露问题。本文主要贡献如下:(1)设计并实现了基于训练时间聚类的动态聚合方案,根据客户端本地数据和算力预估出其本地训练时间,进而通过K-means聚类算法对客户端进行分类,动态确定聚合客户端个数,解决本地模型过时问题,提升全局模型精度。(2)设计并实现了基于差分隐私的联邦学习隐私保护方案。通过对本地模型梯度添加高斯噪声的方式实现隐私保护,利用差分隐私技术通信开销低、容易部署的特点,解决恶意服务器通过推测客户端模型造成的隐私泄露问题。(3)搭建了面向动态聚合的异步联邦学习实验场景,并对系统进行测试。测试结果表明:与传统异步联邦学习聚合算法FedAsync相比,系统全局模型精度提升5.6%。