面向资源异构的通信高效去中心化联邦学习

作     者：潘沭伽 陈思光 

作者机构：南京邮电大学物联网学院 

出 版 物：《系统工程与电子技术》 (Systems Engineering and Electronics)

年 卷 期：2024年

核心收录：

学科分类：080904[工学-电磁场与微波技术] 12[管理学] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 0810[工学-信息与通信工程] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 0835[工学-软件工程] 081001[工学-通信与信息系统] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61971235) 江苏省“333高层次人才培养工程”和南邮‘1311’人才计划资助课题 

主　　题：边缘计算 联邦学习 去中心化系统 稀疏训练 

摘      要：为缓解去中心化联邦学习中不同终端节点数据异构带来的负面影响，提升系统异步兼容性的同时降低整体通信开销，该文提出了一种基于掩码位置图的去中心化联邦学习算法。具体地，设计了一种不对称的掩码更新方案，通过逐渐提升稀疏度将掩码范数与训练程度绑定，同时使用可信任的稀疏联邦聚合，在有效利用稀疏梯度的同时保障了系统的安全性。其次，设计了动态掩码社区分割算法，将梯度掩码与社区分割结合，可有效利用全网梯度之间的相似性，主动选择相似聚合目标，提升模型性能。进一步，在网络结构上将模型层与掩码层分离，可降低算力异构对系统可拓展性的影响。最后，设计了一种单线程同时模拟数据异构、算力异构与终端节点异步的实验方案，实验结果表明，与现有相关方法相比，所提算法在两种数据集与严苛异步设置下均可维持高准确率，并且通信开销降低14%-21%。