基于Bregman散度和差分隐私的个性化联邦学习方法

作     者：张少波 张激勇 朱更明 龙赛琴 李哲涛 ZHANG Shao-Bo;ZHANG Ji-Yong;ZHU Geng-Ming;LONG Sai-Qin;LI Zhe-Tao

作者机构：湖南科技大学计算机科学与工程学院湖南湘潭411201 暨南大学信息科学技术学院广东广州510632 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2024年第35卷第11期

页      面：5249-5262页

核心收录：

学科分类：08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划(2021YFB3101201) 国家自然科学基金(62272162,62172159,62172350,62032020) 教育部人文社会科学研究规划基金(22YJAZH155) 湖南省自然科学基金(2023JJ30267) 

主　　题：隐私保护 个性化联邦学习 差分隐私 Bregman散度 

摘      要：联邦学习因能解决数据孤岛问题而被广泛关注,但也存在用户隐私泄露风险和非独立同分布数据下模型异构导致性能下降的问题.针对该问题,提出基于Bregman散度和差分隐私的个性化联邦学习方法(FedBDP).所提方法采用Bregman散度衡量本地参数与全局参数的差异,并将其作为正则化项更新损失函数,以减小模型差异来提升模型准确率.同时,采用自适应差分隐私技术对本地模型参数进行扰动,通过定义衰减系数动态调整每轮差分隐私噪声的大小,以合理分配隐私噪声大小并提升模型可用性.理论分析表明FedBDP在强凸和非凸光滑函数下满足收敛条件.实验结果验证该方法在满足差分隐私的前提下,FedBDP模型在MNIST和CIFAR10数据集下能够保证模型准确率.