联邦学习的分布外泛化研究

作     者：郭亚明 

作者单位：吉林大学 

学位级别：硕士

导师姓名：伍铁如

授予年度：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：联邦学习 分布外泛化 梯度对齐 可微变换 

摘      要：随着人们对人工智能中数据孤岛和隐私问题的日益关注,联邦学习已成为解决这些挑战的一种流行范式.由于客户端之间惯有的分布偏移,传统联邦学习方法可能在未见过的客户端上表现不佳.这种普遍存在的现象被称为分布外泛化问题,并在机器学习社区中吸引了大量的研究.然而,现有的分布外泛化技术通常是以显式的方式从数据,表示和分布中进行的,这违反了隐私保护和有限通信的联邦原则.因此,研究完全遵守联邦原则的分布外泛化方法是推动联邦学习在现实环境中广泛应用的关键. 考虑到模型参数通常是联邦学习中客户端和服务器之间的唯一交互,本文站在一个全新的角度,即将方法限制在参数空间中以隐式地进行分布外泛化.为此,本文提出了两个相互正交的方法:1)具有隐式不变关系的联邦学习(Fed IIR);2)基于置换的模型融合(Per MF).Fed IIR关注联邦的局部过程,其通过鼓励一致的局部优化来学习跨客户端的不变关系,从而实现分布外泛化;Per MF则侧重联邦的全局过程,其通过寻求连通的全局聚合来保留来自不同客户端的通用知识,从而进一步增强泛化能力.详细地: *** IIR从理论上引入预测分歧来量化不变关系,并通过参数化获得其在参数空间中的替代项,即跨客户端梯度的最大差距.通过对齐客户端间的梯度,Fed IIR可以在不需要交换数据的设置下隐式地减少预测分歧,从而鼓励模型使用跨客户端的不变关系进行预测. *** MF引入了一个由温度控制的可微变换,将无约束空间映射到正交群上,其中温度在极限情况下将密度集中在置换矩阵上.基于上述变换,Per MF通过排列一个模型的单元,使它们与参考模型对齐,以便在参数空间中合并两个模型而不需要任何数据.