基于互信息软聚类的个性化联邦学习算法

作     者：郑美光 杨泳 ZHENG Meiguang;YANG Yong

作者机构：中南大学计算机学院长沙410083 

出 版 物：《计算机工程》 (Computer Engineering)

年 卷 期：2023年第49卷第8期

页      面：20-28页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(62172442,62172451) 湖南省自然科学基金青年科学基金项目(2020JJ5775) 

主　　题：个性化联邦学习 数据偏差 软聚类 模型特征 互信息 

摘      要：联邦学习是一种为多个客户协作训练机器学习模型的分布式机器学习技术,同时能够保护客户数据隐私,但客户数据异构性限制了联邦学习的应用,对此,个性化联邦学习是一种可行的解决方案。传统基于聚类的个性化联邦学习方案将具有相同数据分布的客户划分为一个集群,利用部分客户数据同构的特点减少了数据异构对联邦学习的影响,但忽略了客户属于多个集群的可能性。基于客户数据近似服从多种数据分布的思想,提出基于互信息软聚类的个性化联邦学习算法(pFedMS)。针对目前联邦学习客户聚类指标无法准确反映模型特征相似性的不足,给出基于模型特征的互信息公式作为聚类指标,有效区分相似客户;提出基于类内距离和类间距离的聚类合理性衡量方法,用于动态调整聚类结果;根据隶属度计算客户与集群的相似性,允许客户同时属于多个集群,提高聚类算法的性能。在CIFAR-10和FMNIST数据集上的实验结果表明,pFedMS算法相较于FedAvg、CFL等对比算法,客户最高平均测试准确率提高了2.4~3.0个百分点。