一种注意力机制优化方法及硬件加速设计

作     者：王莹 王晶 高岚 吕旭 张伟功 WANG Ying;WANG Jing;GAO Lan;LYU Xu;ZHANG Wei-gong

作者机构：首都师范大学信息工程学院北京100048 首都师范大学数学科学学院北京100048 

出 版 物：《电子学报》 (Acta Electronica Sinica)

年 卷 期：2023年第51卷第4期

页      面：1021-1029页

核心收录：

学科分类：08[工学] 081201[工学-计算机系统结构] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金面上项目(No.62076168)。 

主　　题：注意力机制 CBAM 卷积神经网络 FPGA 硬件加速器 

摘      要：针对注意力机制在卷积神经网络的应用过程中无法避免的计算量增大、延迟增加问题,本文提出一种优化后的CBAM(Convolutional Block Attention Module)算法模型,并进行了硬件设计实现.论文基于传统CBAM模型结构,分析算法内部隐藏的潜在问题,设计更加符合注意力重要性参数提取初衷的算法模型;同时,通过计算过程优化,减少数据计算量、对算子进行最大并行组合;利用FPGA(Field Programmable Gate Array)可设计高效灵活并行阵列的优势,为改进后的CBAM算法设计一种硬件加速引擎结构.实验结果表明,与传统CBAM机制相比,改进后的注意力机制可以保持与原有算法模型几乎相同的精度,部署在FPGA的硬件加速计算引擎以180 MHz工作频率进行推理实验,经分析可得,本文提出的设计方案在同等硬件资源条件下,针对注意力机制电路可实现10.2%的计算速度提升,针对VGG16网络模型可实现4.5%的推理速度提升.