基于交叉注意力机制的个性化联邦学习系统研究与实现

作     者：张弛 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：刘亮

授予年度：2021年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：联邦学习 注意力机制 图像分类任务 深度学习 

摘      要：联邦学习能够使不同数据源（客户端）在不共享数据的情况下,进行深度神经网络模型的联合训练,已成为人工智能领域的一个热门研究方向。但是,传统联邦学习方法面临着设备、数据、模型上的异构性挑战,无法应对不同客户端的个性化特点与需求,导致学习效果下降。为此,本文研究了一种基于交叉注意力机制的个性化联邦学习方法,并面向分类任务进行了系统实现。主要工作包括:1.利用注意力（Attention）机制与客户端自身数据特征,计算客户端之间的交叉相似性,进而提出了基于交叉注意力机制的个性化联邦学习系统框架,使客户端能在模型层次上联合与其特征相似的客户端进行个性化训练,提高了学习效果和模型质量。2.基于所提出的个性化联邦学习系统框架,详细描述了整个系统的设计过程,针对系统框架中的客户端、服务器、数据处理等部分进行了详细的模块设计,并基于Python语言和Pytorch平台搭建与实现了整个系统。3.将系统在图像分类任务数据集:手写字体识别V-MNIST数据集和空气质量估计Third-Eye数据集上进行了多组实验。结果表明,与本地训练和传统联邦学习相比,基于交叉注意力机制的个性化联邦学习分别最高提高了 6.62%和2.34%的准确率（Accuracy）,8.79%和4.08%的精确率（Precision）,8.41%和3.41%的召回率（Recall）。