冗余数据去除的联邦学习高效通信方法

作     者：李开菊 许强 王豪 LI Kaiju;XU Qiang;WANG Hao

作者机构：重庆邮电大学计算机科学与技术学院重庆400065 重庆大学计算机学院重庆400044 香港城市大学电机工程系中国香港999077 旅游多源数据感知与决策技术文化和旅游部重点实验室重庆400065 

出 版 物：《通信学报》 (Journal on Communications)

年 卷 期：2023年第44卷第5期

页      面：79-93页

核心收录：

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金资助项目(No.42001398) 重庆市自然科学基金资助项目(No.cstc2020jcyj-msxmX0635) 重庆市博士后研究项目特别资助项目(No.2021XM3009) 中国博士后基金资助项目(No.2021M693929) 

主　　题：联邦学习 通信效率 核心数据 模型演化 准确率 

摘      要：为了应对终端设备网络带宽受限对联邦学习通信效率的影响,高效地传输本地模型更新以完成模型聚合,提出了一种冗余数据去除的联邦学习高效通信方法。该方法通过分析冗余更新参数产生的本质原因,根据联邦学习中数据非独立同分布特性和模型分布式训练特点,给出新的核心数据集敏感度和损失函数容忍度定义,提出联邦核心数据集构建算法。此外,为了适配所提取的核心数据,设计了分布式自适应模型演化机制,在每次训练迭代前动态调整训练模型的结构和大小,在减少终端与云服务器通信比特数传输的同时,保证了训练模型的准确率。仿真实验表明,与目前最优的方法相比,所提方法减少了17%的通信比特数,且只有0.5%的模型准确率降低。