面向异构数据的自适应个性化联邦学习——一种基于参数分解和持续学习的方法

作     者：倪宣明 沈鑫圆 张海 Xuanming NI;Xinyuan SHEN;Hai ZHANG

作者机构：北京大学软件与微电子学院北京100871 西北大学数学学院西安710127 华东师范大学统计与数据科学前沿理论及应用教育部重点实验室上海200062 

出 版 物：《中国科学：信息科学》 (Scientia Sinica(Informationis))

年 卷 期：2022年第52卷第12期

页      面：2306-2320页

核心收录：

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

基　　金：国家自然科学基金委员会—广东省人民政府大数据科学研究中心项目(批准号:U1811461)资助。 

主　　题：联邦学习 边缘计算 异构数据 多任务学习 持续学习 参数分解 个性化 

摘      要：联邦学习允许资源受限的边缘计算设备协作训练机器学习模型,同时能够保证数据不离开本地设备,但也面临着异构数据下全局模型收敛缓慢甚至偏离最优解的挑战.为解决上述问题,本文提出一种自适应个性化联邦学习(adaptive personalized federated learning,APFL)算法,在同时包括空间和时间维度的多任务学习框架下,考虑面向异构数据的联邦优化问题.首先,APFL采用参数分解策略,将待训练模型参数分解为全局共享参数和客户端特定参数,在提取所有客户端公共知识的同时实现针对每个客户端的个性化建模.进一步地,APFL将每个客户端上执行的局部优化构建为顺序多任务学习,通过对全局共享参数的更新施加弹性权重巩固(elastic weight consolidation,EWC)惩罚,实现了全局共享模型中重要参数的记忆保留和非重要参数的快速学习.多个联邦基准数据集上的对比实验验证了本文方法的有效性和优越性.