基于忆阻阵列的在线训练算法设计及应用

作     者：李杰 

作者单位：西南大学 

学位级别：硕士

导师姓名：段书凯

授予年度：2022年

学科分类：080903[工学-微电子学与固体电子学] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主      题：内存墙 忆阻器交叉阵列 多层感知机 回声状态网络 在线训练 

摘      要：过去几十年,具有冯·诺依曼架构的传统计算系统极大地方便了我们的工作与生活,但它也存在效率低下的问题,冯·诺依曼计算系统中处理单元和存储单元是分离的,处理单元和存储单元之间的数据流是主要性能和能效瓶颈,通常被称为“内存墙。新兴的电阻开关存储器(忆阻器)通过在忆阻器交叉阵列中进行计算来克服“内存墙的现象。存算融合的忆阻器作为模拟器件,由于受限于工艺、技术与阻变功能层,利用脉冲到脉冲(Pulse to Pulse,P2P)的变化操作使其难以实现高精度计算。因此,在基于忆阻器交叉阵列神经网络中,迫切需要考虑在忆阻器非理想特性下实现基于忆阻器交叉阵列的神经网络在线训练算法,然而对该种训练至今鲜见报道。首先本文制备了结构为Ag|Ti O|F-doped Sn O忆阻器,在测试的忆阻效应基础上,利用P2P变化曲线对其进行权重更新,从而设计出了低比特的多层感知机(Multilayer Perceptron,MLP)网络训练方法,该方法能够实现在线训练,并且考虑了实际忆阻器脉冲调制的非线性,能够导入实际忆阻器的脉冲调制曲线,自动拟合脉冲调制曲线,能够实现设置不同的比特数来评估忆阻器在交叉阵列上运行MLP网络进行手写数字识别精度。该在线训练算法不需要闭环更新电导,只需要采用一次SET和RESET脉冲更新权重,收敛速度极快,超过在软件上的收敛速度,因而减少了忆阻器在训练时的SET或RESET操作,延长忆阻器的读写寿命,降低了忆阻器交叉阵列的在线训练时间以及功耗。同时也表明了在不精确的梯度更新下,忆阻器神经网络也能够正常收敛。本文的算法能够容忍忆阻器器件非理想特性,为未来神经网络在实际电路中的应用提供了基础。接着本文针对基于忆阻器交叉阵列的回声状态网络(Echo State Networks,ESN)进行了研究。提出了基于忆阻器交叉阵列的注意力多尺度双向ESN网络,设计了自适应的多尺度双向ESN结构,能够根据时间序列的长度,自适应的计算时间步长,多尺度ESN能够捕获不同时间序列长度的特征,将时间序列向多个高维非线性空间映射,提取到不同的特征,并采用一维卷积残差网络作为骨干网络,使神经网络能够扩展到非常深的结构。为了忆阻器交叉阵列能够部署ESN,设计了基于忆阻器交叉阵列的ESN电路,使全硬件实现ESN成为可能。在时间序列数据集分类上,采用UCR和UEA数据集与其他时间序列分类算法做比较,可以看出提出的算法优于其他算法。在图像识别分类上,采用MNIST(Modified National Institute of Standards and Technology database)和CIFAR10数据集与其他ESN算法进行比较,本文提出的算法均达到了较高的精度。最后,对本文的主要研究工作进行总结,并对忆阻器交叉阵列在线训练算法和回声状态网络架构研究进行了展望。