基于Stacking集成的模型输出融合联邦学习方法研究

作     者：胡正林 

作者单位：四川大学 

学位级别：硕士

导师姓名：蒋玉明;黄伟

授予年度：2023年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：联邦学习 模型输出融合 Stacking集成 新数据集扩展 多纵向状态融合 

摘      要：联邦学习能更可靠地满足机器学习模型对数据丰富性的需求,对机器学习的发展具有重大的价值,为此受到广泛的关注。因联邦学习依托聚合分布式训练的模型来联合多方数据优化模型,所以模型聚合方法对于联邦学习尤为重要。目前联邦学习采用的模型聚合方法中主流是融合本地模型参数,少量是知识蒸馏、集成等方法,这些方法中保护数据安全强的、模型有效性较好的、效率较高的对本地模型异构支持差,使联邦学习灵活性、通用性差,并增加了应用难度和成本,对此本文面向横向联邦学习,研究模型输出融合联邦学习方法,基于模型目标输出的同质性,在保证数据安全的前提下,能很好支持本地模型异构,从而减小联邦学习对本地模型的约束,提高联邦学习的灵活性和通用性。主要方法如下:(1)本文提出基于stacking集成的模型输出融合联邦学习方法(SI-MOFFL),借鉴Stacking中的模型融合方法来融合参与方本地模型,将本地模型称为一级模型,融合模型称为二级模型,并针对预测结果融合和logits融合两种情况来统一设计实现。实现上分训练——选择——共享——构建——再训练等环节,它们链式衔接、相互松耦合。在一级模型训练——选择环节上,通过设置性能阈值来保证一级模型的有效性;在共享——构建环节,在参与方本地对一级模型的目标输出进行管理、纵向拼接来生成新数据集,支持一级模型分批共享,减小参与方本地存储压力,使联邦学习更健壮。在再训练环节,通过联合所有参与方的新数据集来训练二级模型以更好地融合一级模型。在有效性上,通过实验验证,基于预测结果融合情况差于Fed Avg方法,基于logits输出融合情况略优于Fed Avg方法,整体上具有一定的优势。(2)针对基于一级模型预测结果融合的方法生成的新数据集中存在大量重复数据和一定数量矛盾数据,并导致极大束缚一级模型融合效果的问题,考虑神经网络模型的预测损失基于logits,具有高概率不为零、连续实数、能反映预测结果可信度等特点,于是在一级模型为神经网络时,将一级模型的预测损失与其预测结果相结合作为新数据,提出并实现基于新数据集扩展的SI-MOFFL方法,通过实验验证表明能显著减少新数据集中问题数据的数量,并显著提高一级模型融合效果。(3)针对模型纵向状态之间性能的互补性特点,从每个一级模型纵向状态中选取多个准确率更高的、预测正确的数据差异更大的,即好而不同的,来融合,以充分发挥一级模型的价值,提升模型融合效果,减小对一级模型性能的约束。为了使选取的纵向状态好而不同,将模型多个纵向状态的平均准确率和整体表现差异的乘积作为它们好而不同的评价指标,该指标对偏小的模型表现差异变化敏感,受偏大的模型准确率的影响小,进而选取的纵向状态对融合有利。在融合上,设计双融合方法,以充分发挥每个一级模型纵向状态的价值,提高融合的有效性。