基于异构计算平台的深度卷积神经网络加速方法研究

作     者：王子潇 

作者单位：北京交通大学 

学位级别：硕士

导师姓名：王东

授予年度：2021年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 081104[工学-模式识别与智能系统] 080203[工学-机械设计及理论] 0802[工学-机械工程] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：深度卷积神经网络 非结构化剪枝 FPGA 异构计算 目标检测 

摘      要：基于深度卷积神经网络(Deep Convolutional Neural Network,DCNN)的算法在计算机视觉领域拥有至关重要的地位,相比与传统算法,其针对图像分类、目标检测、实例分割等任务均具有更高的准确率,成为近年来学术和工业界的主要研究方向。然而,由于DCNN固有的高计算负载、高参数量的属性,针对功耗、存储限制较为严苛的场景,实现高吞吐率、低延时的推理运算仍然面临诸多挑战。本论文提出了一种针对现场可编程门阵列(Field-Programmable Gate Array,FPGA)与中央处理器(Central Processing Unit,CPU)组成的异构计算平台的软、硬件协同设计方法。本文的主要贡献如下:(1)在硬件设计层面,本文设计了一种基于CPU+FPGA异构计算平台的神经网络加速器。该加速器基于异步计算卷积内核的思想,成功将ABM-Sparse算法拓展到基于CNN的目标检测领域。该加速器可根据高吞吐率、低延时等不同检测场景,灵活切换异构工作模式。(2)在算法设计层面,本文设计了一套基于Roofline模型的端到端的CNN优化引擎。引擎中包含一种新提出的基于Roofline模型的剪枝算法,新提出的剪枝算法从如何发挥FPGA最高计算效率的角度重新审视了前人的工作,以计算机体系结构中经典的Roofline模型为依据,保证算法层面的剪枝可以带来更高的硬件部署增益。同时,引擎对传统的CNN模型压缩算法进行了改进和集成,可实现基于软硬件协同设计思路的端到端的CNN模型压缩。(3)本文并设计了一套自动化硬件设计空间探索引擎。可以实现由优化后CNN模型到FPGA硬件部署的自动化设计空间探索流程,并实现了一套可进行算法实时加速的FPGA演示平台。在众多基于DCNN的算法中,You Only Look Once(YOLO)系列算法展现出了在检测准确率和检测速度上的很好平衡,本文使用YOLOv2算法作为评估设计有效性的标准。实验结果表明,针对高吞吐率需求的场景,本文的设计可在Intel Arria-10 GX1150 FPGA上实现2.27万亿次操作/秒(Tera Operations Per Second,TOPS)的吞吐率,达78.7帧/秒(Frames Per Second,FPS);针对低延迟需求的场景,本文的设计可在同平台上实现24毫秒的单帧推理延时,达41.7 FPS。同时,YOLOv2模型最终部署的平均精度均值(mean Average Precision,m AP)在VOC2007上达到74.45%,相比官方全精度模型(m AP 76.8%)的准确率损失控制在3个百分点以内。