面向数据分布异构的联邦学习方法研究

作     者：陈瑶 

作者单位：华东师范大学 

学位级别：硕士

导师姓名：彭超

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：联邦学习 知识蒸馏 非独立同分布 生成模型 

摘      要：海量数据助推了人工智能领域的高速发展,机器学习技术也在现今的社会生产生活中被广泛应用。传统机器学习通常将训练数据集中存储于数据中心进行统一的模型训练。然而,当下数据隐私问题受到广泛关注,集中式训练面临着数据搜集和存储的难度升级。联邦学习作为一种解决“数据孤岛问题的技术手段,可以充分保护用户数据安全,同时又能让参与用户高效地进行协作训练。联邦学习本质是一种分布式机器学习框架,保证用户数据不出本地的同时又能使用户在协作训练中互相受益。联邦学习在实际应用场景中面临用户数据分布异构的挑战,参与用户数据由数据拥有者独立维护,不同用户间的数据分布存在较大差异,现有的联邦学习算法通常基于用户数据服从独立同分布的假设,在数据分布异构的情况下表现出性能下降、训练过程不稳定等问题。针对上述问题,本文基于现有联邦学习算法进行了研究和改进,提出了两种针对数据分布异构的联邦学习算法:·基于生成模型和历史知识的联邦学习算法(Fed SG):该算法利用生成模型学习用户上传的模型和本地标签计数,提取全局视图下的数据分布作为全局知识,并通过生成器传递至用户,用户对生成器采样进而对本地数据进行增强,从而削弱用户间数据分布差异。在用户本地训练中引入历史知识蒸馏,避免对过去学习结果的遗忘,降低因用户参与度降低对联邦学习算法性能的扰动。·基于生成模型和互蒸馏的联邦学习算法(Fed GM):该算法延用Fed SG算法中利用生成模型提取全局知识的方法,并利用生成器在服务器端构建代理数据集,供用户模型在服务器端进行互蒸馏操作,将蒸馏得到的结果集成至全局模型,取代加权平均的聚合方式,提高了模型的收敛速度和泛化性能,同时保护了用户数据隐私。以上提出的两种算法都在公开的数据集上进行了实验,实验结果表明本文提出的两种算法在数据分布异构情况下的性能明显优于其他的基线算法。