多模态高精度非线性激活函数协处理器设计

作     者：欧文辉 王峥 吴卓宇 王伟伦 甘志银 Ou Wenhui;Wang Zheng;Wu Zhuoyu;Wang Weilun;Gan Zhiyin

作者机构：华中科技大学武汉光电国家研究中心武汉430074 中国科学院深圳先进技术研究院异构智能计算中心深圳518055 中科元物芯科技有限公司深圳518066 Department of EngineeringDurham University Durham DH13LE UK 

出 版 物：《计算机辅助设计与图形学学报》 (Journal of Computer-Aided Design & Computer Graphics)

年 卷 期：2024年第36卷第4期

页      面：598-606页

核心收录：

学科分类：08[工学] 080203[工学-机械设计及理论] 0802[工学-机械工程] 

基　　金：广东省重点领域研发计划(2019B010155003) 广东省基础与应用基础研究基金(2020B1515120044) 

主　　题：非线性激活函数 神经网络 数学拟合 FPGA 

摘      要：针对片上部署非线性激活函数产生的精度损失以及硬件资源开销大的问题,提出一种基于三分法指数方法的多模态高精度非线性激活函数协处理器设计.首先分析激活函数在不同拟合参数下的近似误差以及运算量,为设计提供指导;然后设计一种模块化的硬件框架,通过复用指数、对数、sigmoid模块并结合浮点计算单元,能够以较低的面积开销部署多种激活函数.在Xilinx的Vertix系列FPGA上完成原型测试,实验结果表明,在仅增加32个查找表的情况下,所提设计tanh和sigmoid的近似误差仅为2项拆分指数方法的65.02%和69.00%,同时拟合范围扩大60%;与高精度分段线性逼近方法相比,该设计在仅用4%的查找表数量的情况下,将近似误差缩小82%.