一种基于安全多方计算的快速Transformer安全推理方案

作     者：刘伟欣 管晔玮 霍嘉荣 丁元朝 郭华 李博 Liu Weixin;Guan Yewei;Huo Jiarong;Ding Yuanchao;Guo Hua;Li Bo

作者机构：北京航空航天大学网络空间安全学院北京100191 复杂关键软件环境全国重点实验室(北京航空航天大学)北京100878 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2024年第61卷第5期

页      面：1218-1229页

核心收录：

学科分类：08[工学] 0839[工学-网络空间安全] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点研发计划(2021YFB2700200) 国家自然科学基金项目(U21B2021,61972018,61932014) 

主　　题：安全推理 Transformer 安全多方计算 安全处理器 知识蒸馏 

摘      要：Transformer模型在自然语言处理、计算机视觉等众多领域得到了广泛应用,并且有着突出的表现.在Transformer的推理应用中用户的数据会被泄露给模型提供方.随着数据隐私问题愈发得到公众的关注,上述数据泄露问题引发了学者们对Transformer安全推理的研究,使用安全多方计算(secure multi-party computation,MPC)实现Transformer模型的安全推理是当前的一个研究热点.由于Transformer模型中存在大量非线性函数,因此使用MPC技术实现Transformer安全推理会造成巨大的计算和通信开销.针对Transformer安全推理过程中开销较大的Softmax注意力机制,提出了2种MPC友好的注意力机制Softmax freeDiv Attention和2Quad freeDiv Attention.通过将Transformer模型中的Softmax注意力机制替换为新的MPC友好的注意力机制,同时结合激活函数GeLU的替换以及知识蒸馏技术,提出了一个MPC友好的Transformer转换框架,通过将Transformer模型转化为MPC友好的Transformer模型,提高Transformer安全推理的效率.在局域网环境下使用安全处理器(secure processing unit,SPU)提供的隐私计算协议,基于所提出的MPC友好的Transformer转换框架,在SST-2上使用Bert-Base进行安全推理.测试结果表明,在保持推理准确率与无近似模型一致的情况下,安全推理计算效率提高2.26倍.