联邦学习环境下隐私保护的数据聚合与评估方法

作     者：秦文静 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：杨力

授予年度：2022年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 0839[工学-网络空间安全] 081104[工学-模式识别与智能系统] 0835[工学-软件工程] 081201[工学-计算机系统结构] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：联邦学习 隐私保护 安全聚合 同态加密 数据评估 

摘      要：现代深度学习的成功很大程度上归功于海量数据的可用性。随着消费者对隐私问题越来越关注以及各国出台的隐私保护相关法案对个人数据的保护力度大幅增加,导致数据日益碎片化,形成了多个“数据孤岛,成为了制约人工智能技术发展的瓶颈之一。作为一种支持数据隐私保护的分布式训练框架,联邦学习近年来受到了学术界和产业界的广泛关注,它旨在不交换训练数据的前提下进行协作训练,以此解决数据治理和隐私问题。尽管联邦学习的知名度不断提升,但其在实际应用中仍然面临着诸多挑战。首先,从用户隐私层面来看,通过交互模型参数的传统联邦学习方案虽然能够保证用户的训练数据不出本地,但模型参数同样有可能泄露用户的敏感信息;同时,现有的隐私保护方案存在一些安全性问题,例如,基于单密钥同态加密机制的安全聚合方案大多无法抵抗恶意参与方的存在;其次,模型训练的准确性不仅依赖于大规模的训练数据集,训练数据的质量对于全局模型的性能同样重要,尽管目前已有很多评估数据质量的工作,但考虑评估数据安全性的方案却寥寥无几。针对上述问题,本文重点关注联邦学习环境下的用户数据以及模型参数的隐私保护需求展开以下研究。(1)针对传统的联邦学习框架中传输明文信息(如模型参数、梯度参数等)不安全的问题,本文提出了一种梯度混淆的隐私保护方案;该方案基于矩阵置换运算,不需要任何的加密操作,即可避免攻击者反向破解出原始的训练样本。此外,本文探究了置换比例的不同选取方式给防御成功率带来的影响,实验证明该方案在鲁棒性和抗共谋方面都表现出了优越的特性。(2)由于上述方案无法解决服务器可获取聚合结果的安全威胁,本文进一步基于同态加密算法提出了一种联邦学习环境下的数据安全聚合协议;该协议考虑单密钥同态的联邦学习系统无法抵抗共谋攻击的问题,使用Paillier同态加密对用户梯度参数进行加密处理;在此基础上,用户之间通过梯度混淆算法进行加密梯度的二次混淆,完成半诚实安全模型下的联邦学习安全聚合方案的构造。(3)针对联邦学习环境下低质量数据会降低全局模型性能的问题,本文提出了一种适用于联邦学习的数据安全评估协议;该协议基于Shapley估值算法对数据质量进行量化,使用双陷门的同态加密算法对用户梯度参数进行加密处理;在此基础上,结合梯度混淆算法对评估数据进行二次混淆,实现了联邦学习环境下对用户训练样本的安全评估。