基于速率编码的极低延迟深度脉冲神经网络研究

作     者：熊志民 陈云华 冯忍 陈平华 

作者机构：广东工业大学计算机学院 苏州酷珈科技有限公司 

出 版 物：《控制理论与应用》 (Control Theory & Applications)

年 卷 期：2024年

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：广东省自然科学基金项目(2021A1515012233 2016A030313713)资助 

主　　题：脉冲神经网络 ANN-SNN转化 速率编码 

摘      要：脉冲神经网络(Spiking Neural Network, SNN)具有强大的时空信息表征、异步事件处理能力,但由于脉冲发放过程不具有连续可微性,其训练是一个难题.人工神经网络(Artificial Neural Network, ANN)转SNN的方法,能够获得较高推理精度的深度SNN,但却存在SNN网络延迟和功耗过高的问题.为了降低网络延迟和功耗,本文从脉冲信息传递的异步特性入手,分析了极低延迟下SNN精度损失的主要原因,提出残余膜电位误差(Residual Membrane Potential Error, RMPE)的概念,并对其进行分析与推导,建立残余膜电位与初始膜电位和权重之间的关系模型.基于所建立的残余膜电位模型,提出一种初始膜电位和权重的分层校准算法,减少残余膜电位误差,从而解决脉冲输入序列均匀分布假设与真实分布不一致的问题.提出一种ANN-SNN的双阶段转化框架,在第一阶段,采用带有可训练分层阈值的量化截断激活函数对ANN进行二次训练,以实现量化误差与截断误差的最优化;在第二阶段,对SNN进行微调训练,以进一步缩小残余膜电位误差,使得在极低延迟下的ANN-SNN转化也能获得较高的精度.实验结果表明,本文方法推理延迟和功耗方面都优于现有的方法.