忆阻神经网络的设计及优化

作     者：陈佳栋 

作者单位：电子科技大学 

学位级别：硕士

导师姓名：陈文宇

授予年度：2022年

学科分类：080903[工学-微电子学与固体电子学] 0809[工学-电子科学与技术（可授工学、理学学位）] 08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主      题：忆阻器 卷积神经网络 忆阻卷积神经网络系统 参数剪枝 

摘      要：近年来,由于学者们在深度学习领域的研究不断获得突破性进展,使得卷积神经网络等深度学习技术在计算机视觉等领域大放异彩,极大地推动了AI为各行各业赋能的进程。使用忆阻器这种存储和计算一体的电路元件构建的计算系统,能够以更低的功耗和更优秀的性能来高效运行深度神经网络。此外,为了降低深度神经网络本身的计算和存储开销,学者们研究出了诸如模型剪枝,量化,蒸馏等模型压缩技术。本文的研究内容为设计基于忆阻器的深度神经网络电路,并借助模型剪枝中最细粒度的参数剪枝技术修剪神经网络卷积核里冗余的参数以降低网络计算量,使得忆阻神经网络系统的运行速度和性能进一步提高。本文将传统滑窗卷积等效转换为加法滞后型卷积。根据加法滞后型卷积的特性设计出的忆阻卷积计算电路,能够直接跳过卷积核中所有与值为0的元素相关的计算,且保持卷积运算结果不变。此外,还给出了基于这种忆阻卷积计算电路设计的忆阻卷积神经网络系统完整的设计方案,每一个网络层都给出了详细的电路设计和运行原理。为了验证设计方案的有效性,将本文提出的系统应用于端到端的图像分类。此外,借助参数剪枝技术对本系统进行优化,使得系统的运行速度和性能得到进一步增强。在无需对系统电路进行任何修改的情况下,使得本系统的计算量下降了30%。并且本文实现的忆阻卷积神经网络系统所需的忆阻器数量为此前最小忆阻器消耗量方案的1/3。本文的研究成果主要是根据滑动窗口卷积的等价转换形式——加法滞后型卷积,设计忆阻卷积计算单元和完整的忆阻卷积神经网络系统,研究忆阻卷积神经网络系统卷积层、平均池化层和完全连接层的实现方法。并使用设计的系统在MNIST数据集上完成端到端的图像分类已验证其有效性。为了进一步优化该系统,本文将所设计的系统与模型压缩中的参数剪枝技术相结合,在保证模型精度的前提下,将卷积核元素中那些不重要的元素值修剪为0,并使得系统能够跳过与卷积核中值为0元素的相关计算,以减小计算量和加快系统前向推理的速度。这种能够借助稀疏的卷积核加速卷积神经网络前向推理速度的设计方案,有助于提升今后将忆阻器应用于AI芯片的优势。