高效联邦学习:范数加权聚合算法

作     者：陈攀 张恒汝 闵帆 Chen Pan;Zhang Hengru;Min Fan

作者机构：西南石油大学计算机科学学院成都610500 西南石油大学机器学习研究中心成都610500 

出 版 物：《计算机应用研究》 (Application Research of Computers)

年 卷 期：2024年第41卷第3期

页      面：694-699页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(61902328) 南充市科技局应用基础研究项目(SXHZ040,SXHZ051) 

主　　题：联邦学习 通信成本 隐私保护 非独立同分布 聚合 权重更新 

摘      要：在联邦学习中,跨客户端的非独立同分布(non-IID)数据导致全局模型收敛较慢,通信成本显著增加。现有方法通过收集客户端的标签分布信息来确定本地模型的聚合权重,以加快收敛速度,但这可能会泄露客户端的隐私。为了在不泄露客户端隐私的前提下解决non-IID数据导致的收敛速度降低的问题,提出FedNA聚合算法。该算法通过两种方法来实现这一目标。第一,FedNA根据本地模型类权重更新的L 1范数来分配聚合权重,以保留本地模型的贡献。第二,FedNA将客户端的缺失类对应的类权重更新置为0,以缓解缺失类对聚合的影响。在两个数据集上模拟了四种不同的数据分布进行实验。结果表明,与FedAvg相比,FedNA算法达到稳定状态所需的迭代次数最多可减少890次,降低44.5%的通信开销。FedNA在保护客户端隐私的同时加速了全局模型的收敛速度,降低了通信成本,可用于需要保护用户隐私且对通信效率敏感的场景。