基于自适应差分隐私与客户选择优化的联邦学习方法

作     者：徐超 张淑芬 陈海田 彭璐璐 张帅华 

作者机构：河北省数据科学与应用重点实验室 唐山市大数据安全与智能计算重点实验室 华北理工大学理学院 唐山市数据科学重点实验室 

出 版 物：《计算机应用》 (Journal of Computer Applications)

年 卷 期：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 0839[工学-网络空间安全] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 081201[工学-计算机系统结构] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(U20A20179) 

主　　题：联邦学习 差分隐私 自适应噪声 轮盘赌 精英保留 

摘      要：将差分隐私应用于联邦学习的方法是保护训练数据隐私的关键技术之一。针对先前多数工作未考虑到参数的异质性，对训练参数均匀裁剪使得每轮加入的噪声是均匀的，从而影响模型收敛和训练参数质量的问题，提出一种基于梯度裁剪的自适应噪声添加方案。考虑到梯度的异质性，在不同轮次为不同客户端执行自适应的梯度裁剪，从而使得噪声大小自适应调整；同时，为了进一步提升模型性能，对比传统的客户端随机采样方式，提出一种结合轮盘赌与精英保留的客户端采样方法。实验结果表明，相比基于均匀的噪声添加方式和客户端随机采样方式，结合客户端选择的自适应差分隐私联邦学习方法（CS&AGC DP＿FL）能够在相同级别的隐私约束下使最终的模型分类准确率提升4.9个百分点，并且在收敛速度方面，相较于对比方法进入收敛状态所需的轮次减少4～10轮。