基于梯度反演的模型隐私攻击及防御方法研究

作     者：王子帆 

作者单位：贵州大学 

学位级别：硕士

导师姓名：彭长根

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 0839[工学-网络空间安全] 08[工学] 0835[工学-软件工程] 081201[工学-计算机系统结构] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：深度学习 联邦学习 梯度反演 差分隐私 Wasserstein距离 

摘      要：由于深度学习需要海量数据进行模型训练,且对训练数据的隐私信息有较高的要求,传统的本地或者集中式机器学习已经无法满足日益增长的训练条件。联邦学习作为一种适用于多源数据训练的分布式机器学习框架,通过共享参数的机制实现多方数据不出本地的条件下共同训练模型,有效保护本地私有训练数据的隐私信息。然而,尽管联邦学习不需要共享本地数据,但仍需要交换模型参数,最近的一些工作表明可以通过参数造成隐私泄露。本文对联邦学习共享参数机制中存在的梯度反演攻击问题以及防御方法展开研究,分析联邦学习过程中训练数据安全与隐私保护方法的研究现状。在隐私泄露攻击手段方面,围绕梯度反演算法改进,提出一种基于Wasserstein距离的梯度反演算法,提高了梯度反演攻击的效率和质量。在梯度反演防御方法上,重点使用差分隐私方法防御梯度反演攻击。在传统联邦学习系统中,构造了一种基于零集中机制的双差分隐私保护方案。论文内容主要包括:(1)通过迭代优化的梯度反演算法结合Wasserstein距离的优良性质,重新定义了梯度反演攻击算法中的损失函数;在图像数据集中实现高质量,高分辨率的反演图像重建。(2)提出全局参数与本地参数同时进行扰动的双差分隐私梯度噪声扰动方法对联邦学习模型进行隐私保护,以防御梯度反演算法攻击。(3)为了在添加双差分扰动噪声保护隐私的同时保证模型可用性,结合了比(ε,δ)-差分隐私更松弛且更高准确性,更适合深度学习训练下计算累积隐私损失的零集中差分机制对训练过程中的参数进行差分扰动。