检索结果-南通市图书馆

控制理论与应用 2024年

作者：熊志民陈云华冯忍陈平华广东工业大学计算机学院苏州酷珈科技有限公司

脉冲神经网络(Spiking Neural Network, snn)具有强大的时空信息表征、异步事件处理能力,但由于脉冲发放过程不具有连续可微性,其训练是一个难题.人工神经网络(Artificial Neural Network, ann)转snn的方法,能够获得较高推理精度的深度S... 详细信息

脉冲神经网络(Spiking Neural Network, snn)具有强大的时空信息表征、异步事件处理能力,但由于脉冲发放过程不具有连续可微性,其训练是一个难题.人工神经网络(Artificial Neural Network, ann)转snn的方法,能够获得较高推理精度的深度snn,但却存在snn网络延迟和功耗过高的问题.为了降低网络延迟和功耗,本文从脉冲信息传递的异步特性入手,分析了极低延迟下snn精度损失的主要原因,提出残余膜电位误差(Residual Membrane Potential Error, RMPE)的概念,并对其进行分析与推导,建立残余膜电位与初始膜电位和权重之间的关系模型.基于所建立的残余膜电位模型,提出一种初始膜电位和权重的分层校准算法,减少残余膜电位误差,从而解决脉冲输入序列均匀分布假设与真实分布不一致的问题.提出一种ann-snn的双阶段转化框架,在第一阶段,采用带有可训练分层阈值的量化截断激活函数对ann进行二次训练,以实现量化误差与截断误差的最优化;在第二阶段,对snn进行微调训练,以进一步缩小残余膜电位误差,使得在极低延迟下的ann-snn转化也能获得较高的精度.实验结果表明,本文方法推理延迟和功耗方面都优于现有的方法.

关键词：脉冲神经网络 ann-snn转化速率编码

来源：

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

自校准首脉冲时间编码神经元模型

引用

计算机科学 2024年第3期51卷 244-250页

作者：冯忍陈云华熊志民陈平华广东工业大学计算机学院广州510006

由于脉冲神经元具有复杂的时空动力过程且脉冲信息不可导,脉冲神经网络(snn)的训练一直是一个难题。基于人工神经网络(ann)转snn间接训练深度snn的方法,避免了直接训练深度snn的难题,但该方法所获得的snn的性能在很大程度上会受到脉冲... 详细信息

由于脉冲神经元具有复杂的时空动力过程且脉冲信息不可导,脉冲神经网络(snn)的训练一直是一个难题。基于人工神经网络(ann)转snn间接训练深度snn的方法,避免了直接训练深度snn的难题,但该方法所获得的snn的性能在很大程度上会受到脉冲信息编码机制的影响。在众多编码机制中,首脉冲时间编码(TTFS)具有良好的生物学基础和更高的能效,但现有TTFS编码采用单脉冲形式,信息表征能力较弱,编码所需时间窗较大。为此,在TTFS的单脉冲编码基础上,增加一个校准脉冲,形成一种自校准首脉冲时间(SC-TTFS)编码机制,并构建相应的SC-TTFS神经元模型。在SC-TTFS中,首脉冲为必定发放的脉冲,而校准脉冲根据首脉冲发放后剩余的膜电位来确定是否发放,用于对编码脉冲所引起的转换量化误差和截断误差进行补偿,同时缩小编码所需的时间窗。通过对多种编码对应的转换误差进行对比分析,以及在多种网络结构上进行ann-snn转换实验,验证了所提方法的优越性。采用CIFAR10和CIFAR100数据集,基于VGG和ResNet两种网络结构进行了实验验证。结果表明,所提方法在两类网络结构和两种数据集上均实现了精度无损的ann-snn转换,且相较于最先进的同类方法,所提方法所构建的snn具有最短的网络推理延迟。另外,在VGG结构上,所提方法相比TTFS编码能源效率提升了约80%。

关键词：脉冲神经网络脉冲编码机制 ann-snn转化

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：