基于FPGA的高能效比LSTM预测算法加速器的设计与实现

作     者：张奕玮 

作者单位：中国科学技术大学 

学位级别：硕士

导师姓名：周学海;王超

授予年度：2018年

学科分类：08[工学] 081104[工学-模式识别与智能系统] 0811[工学-控制科学与工程] 

主      题：FPGA 加速器 低功耗 神经网络 前向计算 LSTM 稀疏网络 

摘      要：如今,人工智能已经成为了计算机应用领域最为重要的学科之一。由于其在很多领域表现出强大的学习和处理能力,人工智能技术逐渐在各类实际应用中代替人类完成那些需要人的思维才能完成的工作。作为实现人工智能的重要方法,机器学习如今也愈来愈受研究者们的重视,并在工业界得到广泛应用,例如人脸识别、语音识别、机器翻译以及内容推荐等等功能都离不开机器学习的参与。人工神经网络模型在实际应用中取得了优异的效果,成为了机器学习领域最为常用的模型。神经网络的种类非常繁多,目前最为主流的神经网络模型包括DNNs,CNNs以及LSTM等,而LSTM由于其固有的时序特性,在语音识别、语义分析、图像识别等领域都有应用。LSTM网络的特点是存在大量连接,参数规模巨大,并且计算过程也较为复杂。如何实现高性能、低功耗的LSTM神经网络是当前学术界和工业界的热点问题之一,其中采用低功耗硬件实现神经网络加速器便是有效的解决办法。作为一种硬件加速手段,FPGA的高性能和低功耗的特点使其被广泛应用。本文基于FPGA设计与实现了一款LSTM神经网络预测算法的硬件加速器,主要工作包括:1.分析LSTM神经网络前向计算部分的运算逻辑,将其分解为不同的运算模块,并分析每个模块的算法特性。2.针对每个运算模块分别设计FPGA硬件运算单元。采用流水线方法对运算过程进行并行加速,以提高加速器的吞吐率。最终实现LSTM神经网络的硬件加速器设计。3.针对较大规模的LSTM网络需要消耗大量存储资源的情况,本文采用剪枝-重训练方法对其进行了压缩处理,并根据剪枝后的LSTM网络设计专门的稀疏神经网络加速器。4.实验验证本文的LSTM硬件加速器设计,基于FPGA的常规/稀疏LSTM网络加速器与CPU平台进行对比,测试运算吞吐率和功耗等性能数据,并对FPGA硬件实现的资源消耗进行分析。此外使用数据集,测试剪枝手段对LSTM神经网络预测精度效果的影响。