神经网络训练处理器的浮点运算优化架构

作     者：张立博 李昌伟 齐伟 王刚 戚鲁凤 ZHANG Libo;LI Changwei;QI Wei;WANG Gang;QI Lufeng

作者机构：中国绿发投资集团有限公司北京100010 山东鲁软数字科技有限公司济南250001 

出 版 物：《计算机测量与控制》 (Computer Measurement &Control)

年 卷 期：2023年第31卷第6期

页      面：176-182页

学科分类：0809[工学-电子科学与技术（可授工学、理学学位）] 080902[工学-电路与系统] 08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

基　　金：中国绿发投资集团有限公司科技项目(CGDG529000220008)。 

主　　题：卷积神经网络 浮点运算 加速器 权重梯度 处理器 

摘      要：针对神经网络训练加速器中存在权重梯度计算效率低的问题,设计了一种高性能卷积神经网络(CNN)训练处理器的浮点运算优化架构;在分析CNN训练架构基本原理的基础上,提出了包括32 bit、24 bit、16 bit和混合精度的训练优化架构,从而找到适用于低能耗且更小尺寸边缘设备的最佳浮点格式;通过现场可编程门阵列(FPGA)验证了加速器引擎可用于MNIST手写数字数据集的推理和训练,利用24 bit自定义浮点格式与16 bit脑浮点格式相结合构成混合卷积24 bit浮点格式的准确率可达到93%以上;运用台积电55 nm芯片实现优化混合精度加速器,训练每幅图像的能耗为8.51μJ。