基于联邦学习的本地化差分隐私机制研究

作     者：任一支 刘容轲 王冬 袁理锋 申延召 吴国华 王秋华 杨昌天 REN Yizhi;LIU Rongke;WANG Dong;YUAN Lifeng;SHEN Yanzhao;WU Guohua;WANG Qiuhua;YANG Changtian

作者机构：杭州电子科技大学网络空间安全学院杭州310018 山东区块链研究院济南250000 

出 版 物：《电子与信息学报》 (Journal of Electronics & Information Technology)

年 卷 期：2023年第45卷第3期

页      面：784-792页

核心收录：

学科分类：0710[理学-生物学] 07[理学] 08[工学] 070104[理学-应用数学] 081201[工学-计算机系统结构] 0701[理学-数学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：浙江省“尖兵”、“领雁”研发攻关项目(2022C03174) 浙江省教育厅科研项目(Y202147115) 浙江省属高校基本科研业务费专项资金资助项目(GK229909299001-023)。 

主　　题：隐私保护 联邦学习 本地化差分隐私 区块链 

摘      要：联邦学习与群体学习作为当前热门的分布式机器学习范式,前者能够保护用户数据不被第三方获得的前提下在服务器中实现模型参数共享计算,后者在无中心服务器的前提下利用区块链技术实现所有用户同等地聚合模型参数。但是,通过分析模型训练后的参数,如深度神经网络训练的权值,仍然可能泄露用户的隐私信息。目前,在联邦学习下运用本地化差分隐私(LDP)保护模型参数的方法层出不穷,但皆难以在较小的隐私预算和用户数量下缩小模型测试精度差。针对此问题,该文提出正负分段机制(PNPM),在聚合前对本地模型参数进行扰动。首先,证明了该机制满足严格的差分隐私定义,保证了算法的隐私性;其次分析了该机制能够在较少的用户数量下保证模型的精度,保证了机制的有效性;最后,在3种主流图像分类数据集上与其他最先进的方法在模型准确性、隐私保护方面进行了比较,表现出了较好的性能。