随机梯度下降中的隐私保护方法研究

作     者：段锦欢 

作者单位：广西师范大学 

学位级别：硕士

导师姓名：李先贤

授予年度：2022年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 081201[工学-计算机系统结构] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：机器学习 梯度下降 隐私保护 联邦学习 聚类 

摘      要：机器学习能让机器从大量历史数据中学习规律并对新的样本作出判断识别或预测。作为人工智能的核心技术,机器学习已广泛应用计算机视觉、自然语言处理、推荐系统等领域。随着边缘计算、物联网、云计算和机器学习等技术的融合,促进了医疗保健和银行业等领域技术的蓬勃发展。然而,这类领域相关数据中可能包含潜在的敏感数据,如果不进行相应的处理,敏感数据可能会被窃取或泄露,从而对数据持有者的隐私和安全带来危害。因此,机器学习的安全性对于其发展是至关重要的。梯度下降GD（Gradient descent）在各种优化问题上有着重要的地位,其算法结构简单,易于实现,迭代稳定性强,复杂度适中等众多优点。但梯度下降法的安全性是不能保证的,数据重构攻击可以利用梯度信息来推断训练数据。联邦学习是一种新型的分布式机器学习框架,通过数据所有者的设备训练机器模型,不直接共享数据来保护隐私。然而现有的联邦学习研究工作表明,仅通过不共享训练数据是不足以保护数据隐私的。因为在此类参数服务器模型,通常需要共享梯度或模型参数来协同学习,攻击者利用这些信息能够推测出用户隐私。因此,本文分析了传统梯度下降方法在神经网络中的信息泄露问题及已有保护方法的不足,提出一种超随机梯度下降方法,并应用在联邦学习场景。主要研究成果如下:（1）针对机器学习系统中,梯度信息导致隐私泄露的问题,本文提出了超随机梯度下降方法SSGD（Super Stochastic Gradient Descent）。通过隐藏梯度向量的模长,并将其转换为单位向量来更新参数。修剪梯度的模长带来了梯度聚合后的梯度方向具有超随机性。为了使超随机性不带来较差的结果,将一组小批次数梯度之和视为一个基梯度,使用多个基梯度的单位梯度之和更新参数。在保持模型精度的同时防止梯度泄漏。此外,本文给出了超随机梯度下降法在理论上的安全性分析,并证明了所提出的算法可以抵御梯度上的攻击。最后,为了验证本文提出的方法,在两个真实的数据集上设计对比实验。实验结果表明,该方法在保证隐私的情况下,在准确性、鲁棒性和对数据的大规模批量的适应性方面明显优于现有的梯度下降方法。同时SSGD方法在一定程度上可以抵抗中毒攻击。（2）针对迭代联邦聚类算法IFCA（Iterative Federated Clustering Algorithm）中直接共享梯度或模型参数带来的隐私问题,及模型初始化选择可能导致模型同质化和模型太差而不更新的问题,本文提出了局部增强联邦学习方法LRFL（Locally Reinforced Federated Learning）。工作节点使用超随机梯度下降法更新参数,保护梯度或模型参数共享导致的训练数据泄露,并通过在服务器第一轮更新中进行一次聚类操作,完成多个模型的自动选择,消除受模型初始化选择的影响。同时考虑簇间数据的分布,根据模型参数的差异调整模型参数聚合权重,增加了算法的鲁棒性。该方法只需在第一次更新参数时进行一次聚类操作,从而减小了计算量。最后,在三个数据集上验证LRFL方法的效用性和安全性。