面向部分设备参与的非独立同分布数据的联邦学习算法

作     者：邹敏浩 甘中学 ZOU Min-hao;GAN Zhong-xue

作者机构：复旦大学工程与应用技术研究院上海200433 

出 版 物：《小型微型计算机系统》 (Journal of Chinese Computer Systems)

年 卷 期：2023年第44卷第6期

页      面：1121-1127页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：上海市科研计划项目(19511132000)资助 上海市科技重大项目(2021SHZDZX0103)资助 

主　　题：联邦学习 移动边缘计算 分布式机器学习 人工神经网络 

摘      要：在数据非独立分布的情况下,联邦学习每一轮通信中将局部模型聚合成一个全局模型的过程将会导致异质性,并给联邦学习训练带来巨大的挑战.除此之外,由网络带宽不同或者客户端设备的训练速度的不同导致的部分设备参与加剧了这种异质性.仅通过局部模型的简单加权聚合会导致与真正的全局模型的进一步偏差,后者会收敛到局部极值点并在收敛过程中振荡.基于这些发现,本文提出了一种新的聚合算法--联邦累积学习算法(FedAcc),该算法在服务端通过聚合延迟的客户端的梯度信息以指导下一轮的服务端梯度更新,从而实现更健壮和更精确的聚合.实验结果表明,与FedAvg、FedAdam和FedAsync等几种优秀的联邦学习算法相比,FedAcc算法具有更好的综合性能.