基于剪枝的大模型联邦高效参数微调技术

作     者：曾辉 熊诗雨 狄永正 史红周 

作者机构：移动计算与新型终端北京市重点实验室(中国科学院计算技术研究所) 中国科学院大学计算机科学与技术学院 

出 版 物：《计算机应用》 (Journal of Computer Applications)

年 卷 期：2024年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划项目(2018YFB1004705) 

主　　题：联邦学习 大模型 微调 高效参数微调 模型剪枝 

摘      要：随着数据隐私性的不断提升，用于下游任务的预训练基础模型（PFM）的微调变得愈发困难，这推动了基于PFM的联邦学习研究。然而，PFM给联邦学习系统带来显著的挑战，特别是在本地计算和通信方面。为此，针对联邦学习的本地计算和聚合通信两个主要阶段，分别提出对应的解决方案，即本地高效微调模式和环形本地聚合模式。本地高效微调模式采用基于高效参数微调（PEFT）的模型剪枝算法以减轻本地计算和通信开销；环形本地聚合模式采用分布式的本地聚合方案取代中心化的聚合方法以提升聚合阶段的通信效率。实验结果表明，所提大模型联邦高效参数微调框架在最终性能和效率方面均表现出良好的性能。