去协调方的纵向联邦学习技术研究

作     者：尹莱莱 

作者单位：哈尔滨工业大学 

学位级别：硕士

导师姓名：于海宁

授予年度：2022年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主      题：隐私保护 联邦学习 数据对齐 同态加密 

摘      要：机器学习模型效果受到训练数据质量的显著影响,不同企业或部门之间往往会通过数据直接共享的方式提升模型性能。然而伴随着国家和公众对于数据隐私问题的关注,亟需在保护隐私安全的前提下,完成数据的共享和应用。面对这种数据困境,联邦学习技术给出了解决之道,该技术通过加密机制进行参数计算和交换,可以在数据不离开本地的情况下实现多个数据源的安全联合建模。本文旨在实现去协调方的纵向联邦学习系统,包括数据对齐和纵向联邦建模过程,可以在无协调方的协助下完成纵向联邦学习建模。为了提高系统安全性,抵抗恶意敌手攻击,本文首先利用安全隐私集合求交协议(Malicious Private Set Intersection,MPSI)实现了恶意模型下安全的数据对齐过程。本文还实现了去协调方的纵向逻辑回归算法(Vertical Logistic Regression,VLR),可以解决金融领域的诸多建模问题,但是该算法只能解决二分类问题,因此为了扩展到多分类问题,本文最后提出了去协调方的纵向深度神经网络算法(Vertical Deep Neural Networks,VDNN),可以在保护数据隐私的前提下,有效地构建神经网络模型。本文在三个公开数据集上进行了对比实验,实验结果表明,本文实现的恶意安全的数据对齐协议可以在100 s的时间内计算出两个大小达百万级别的数据集交集,通信复杂度为nn O)log(。为了支持Paillier算法的同态加密性质,VLR算法对损失函数和梯度进行了二阶泰勒近似,因此在实验中测试和分析了泰勒近似的损失性,结果显示二阶泰勒近似并不会对模型的训练效果造成太大影响。本文还针对多个评价指标比较和分析了VDNN算法和基线算法的性能,结果表明在相同的模型参数和实验环境下,本文提出的VDNN方法的分类效果更好,运行时间更快,通信效率更优。