检索结果-南通市图书馆

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向多计算范式的深度学习处理器研究与实现

面向多计算范式的深度学习处理器研究与实现

作者：李超然中国运载火箭技术研究院

学位级别：硕士

世界军事变革对提高飞行器的智能化水平提出了迫切要求,深度学习算法作为本轮人工智能革命的核心技术被广泛应用。然而,通用处理器的发展进入瓶颈,在性能和功耗方面难以应对不断涌现的新兴深度学习算法的计算需求。“通用处理器+深度学... 详细信息

世界军事变革对提高飞行器的智能化水平提出了迫切要求,深度学习算法作为本轮人工智能革命的核心技术被广泛应用。然而,通用处理器的发展进入瓶颈,在性能和功耗方面难以应对不断涌现的新兴深度学习算法的计算需求。“通用处理器+深度学习处理器”的异构计算系统为人工智能的定制计算提供了解决方案。现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)的静态重构能力对深度学习处理器架构的探索至关重要。航天领域的深度学习硬件平台有诸多设计难点:深度学习算法迅猛发展,需要深度学习处理器能够适应其部署需求;应用场景迥异导致执行目标不同,需要计算架构支持动态扩展与重构;硬件资源珍贵,需要存储架构具备资源重构能力;迭代周期短,需要深度学习处理器设计能够进行敏捷开发与验证。以上难点可总结为四大设计需求:通用性、计算资源可重构、存储资源可重构和敏捷开发。针对以上需求,以“可重构计算”为指导思想,提出指令流驱动的深度学习处理器架构,具备计算资源可重构,存储资源可重构和映射方式可重构能力。本文主要完成四项研究工作:(1)分析现有深度学习算法中计算范式的通用计算模式、数据重用模式和并行方式,设计了面向多计算范式的深度学习处理器微架构和指令集架构。本文处理器架构以矩阵向量乘法为基本加速模式,选择“输出特征重用”的数据重用模式和“输入通道并行+输出通道并行+输出特征图平面内并行”的并行计算模式。以此为依据设计了指令顺序发射、乱序执行的处理器架构,说明了本架构对多计算范式的支持能力,满足处理器设计的通用性需求。(2)设计了并行方式可动态配置的多核计算单元架构。研究FPGA片上数字信号处理资源的复用方法,设计用于矩阵向量乘法的单核计算单元,并向多核扩展。计算单元并行方式根据运行时配置信息可重构,以满足并行特性不同的计算范式的计算需求。(3)设计了动态统一管理的片上缓存和可重构数据通路。片上缓存动态统一管理保证处理器根据计算范式中各类数据的存储特性,充分利用片上存储资源。可重构数据通路设计保证存储单元配合并行方式动态配置的计算单元工作。(4)设计了神经网络编译框架用于处理器架构的敏捷验证;基于某型号搭载的AI加速器,验证了Chisel语言用于硬件开发的高效性,为后续开发提供了一条新技术路径,该项目已通过飞行验证;在Xilinx ZCU102 FPGA平台上,使用Chisel作为硬件实现语言,验证了本文深度学习处理器设计的多核计算效率、多核计算单元可扩展可重构设计和存储资源可重构设计。本文的深度学习处理器架构基于“可重构计算”思想,面向航天领域深度学习算法应用难点设计,经实验验证能够满足深度学习处理器的设计需求。处理器架构具备可扩展能力和编译优化能力,对通用性深度学习处理器的设计具有借鉴意义。

关键词：深度学习处理器可重构计算指令流驱动多核计算共享缓存

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

嵌入式异构智能计算系统并行多流水线设计

电子学报 2023年第11期51卷 3354-3364页

作者：赵二虎吴济文肖思莹晋振杰徐勇军中国科学院计算技术研究所专项技术研究中心北京100190 中国科学院大学北京100049

嵌入式智能计算系统因其功耗受限和多传感器实时智能处理需要,对硬件平台的智能算力能效比和智能计算业务并行度提出了严峻挑战.传统嵌入式计算系统常采用的DSP+FPGA数字信号处理架构,无法适用于多个神经网络模型加速场景.本文基于ARM+D... 详细信息

嵌入式智能计算系统因其功耗受限和多传感器实时智能处理需要,对硬件平台的智能算力能效比和智能计算业务并行度提出了严峻挑战.传统嵌入式计算系统常采用的DSP+FPGA数字信号处理架构,无法适用于多个神经网络模型加速场景.本文基于ARM+DLP+SRIO嵌入式异构智能计算架构,利用智能处理器多片多核多内存通道特性,提出了并行多流水线设计方法.该方法充分考虑智能计算业务中数据传输、拷贝、推理、结果反馈等环节时间开销,为不同的神经网络模型合理分配智能算力资源,以达到最大的端到端智能计算业务吞吐率.实验结果表明,采用并行多流水线设计方法的深度学习处理器利用率较单流水线平均提高约25.2%,较无流水线平均提高约30.7%,满足可见光、红外、SAR等多模图像实时智能处理需求,具有实际应用价值.

关键词：嵌入式智能计算系统异构计算架构神经网络模型并行多流水线深度学习处理器

SMCA:基于芯粒集成的存算一体加速器扩展框架

在线全文

学校读者我要写书评

暂无评论

电子与信息学报 2024年第11期46卷 4081-4091页

作者：李雯王颖何银涛邹凯伟李华伟李晓维山西大学计算机与信息技术学院(大数据学院) 太原030006 山西大学大数据科学与产业研究院太原030006 山西大学计算智能与中文信息处理教育部重点实验室太原030006 中国科学院计算技术研究所处理器芯片全国重点实验室北京100190 中国科学院大学北京100190 清华大学电子工程系北京100084

基于可变电阻式随机存取存储器(ReRAM)的存算一体芯片已经成为加速深度学习应用的一种高效解决方案。随着智能化应用的不断发展,规模越来越大的深度学习模型对处理平台的计算和存储资源提出了更高的要求。然而,由于ReRAM器件的非理想性... 详细信息

基于可变电阻式随机存取存储器(ReRAM)的存算一体芯片已经成为加速深度学习应用的一种高效解决方案。随着智能化应用的不断发展,规模越来越大的深度学习模型对处理平台的计算和存储资源提出了更高的要求。然而,由于ReRAM器件的非理想性,基于ReRAM的大规模计算芯片面临着低良率与低可靠性的严峻挑战。多芯粒集成的芯片架构通过将多个小芯粒封装到单个芯片中,提高了芯片良率、降低了芯片制造成本,已经成为芯片设计的主要发展趋势。然而,相比于单片式芯片数据的片上传输,芯粒间的昂贵通信成为多芯粒集成芯片的性能瓶颈,限制了集成芯片的算力扩展。因此,该文提出一种基于芯粒集成的存算一体加速器扩展框架—SMCA。该框架通过对深度学习计算任务的自适应划分和基于可满足性模理论(SMT)的自动化任务部署,在芯粒集成的深度学习加速器上生成高能效、低传输开销的工作负载调度方案,实现系统性能与能效的有效提升。实验结果表明,与现有策略相比,SMCA为深度学习任务在集成芯片上自动生成的调度优化方案可以降低35%的芯粒间通信能耗。

关键词：芯粒深度学习处理器存算一体任务调度

基于ARM+DLP+SRIO的嵌入式智能计算系统研究

在线全文

学校读者我要写书评

暂无评论

电子学报 2021年第3期49卷 443-453页

作者：赵二虎吴济文查晶晶郭振徐勇军中国科学院计算技术研究所专项技术研究中心北京100190

以x86+GPU为代表的当前主流AI计算平台,受限于功耗、体积、带宽、环境适应性等因素,无法适用于物端及边缘智能计算场景.提出并研究了一种基于ARM+DLP+SRIO的嵌入式智能计算系统,从AI算力、能效比、IO带宽三个方面分析了所提嵌入式智能... 详细信息

以x86+GPU为代表的当前主流AI计算平台,受限于功耗、体积、带宽、环境适应性等因素,无法适用于物端及边缘智能计算场景.提出并研究了一种基于ARM+DLP+SRIO的嵌入式智能计算系统,从AI算力、能效比、IO带宽三个方面分析了所提嵌入式智能计算系统的设计思路和技术优势,并实验验证了该系统的功能及性能指标.实验结果表明:基于ARM+DLP+SRIO的嵌入式智能计算系统AI峰值算力达到114.9TOPS,能效比达到1.03TFLOPS/W,IO带宽达到20Gbps.在智能计算系统领域,其能效比优于国内其它已知同类板卡或系统,嵌入式环境适应能力优于传统台式机和服务器,可作为物端及边缘环境下AI计算任务的通用硬件加速平台.

关键词：人工智能深度学习处理器嵌入式智能计算系统串行RapidIO 能效比

在线全文

学校读者我要写书评

暂无评论

一种运算和数据协同优化的深度学习编译框架

高技术通讯 2020年第2期30卷 120-125页

作者：吴林阳杜伟健陈小兵庄毅敏中国科学院计算技术研究所计算机体系结构国家重点实验室北京100190 中国科学院大学北京100049 上海寒武纪信息科技有限公司上海201308

近年来,深度学习算法和深度学习处理器已被广泛应用于工业界,如何从软件层面充分挖掘深度学习处理器的性能成为目前编译器领域研究的热点和难点。现有的深度学习编译框架更侧重于对程序的运算部分进行优化,对数据的优化非常有限,这并不... 详细信息

近年来,深度学习算法和深度学习处理器已被广泛应用于工业界,如何从软件层面充分挖掘深度学习处理器的性能成为目前编译器领域研究的热点和难点。现有的深度学习编译框架更侧重于对程序的运算部分进行优化,对数据的优化非常有限,这并不能发挥深度学习处理器的峰值性能。本文分析了深度学习算法和硬件平台的特点,提出一种运算和数据协同优化的深度学习编译框架CDUCA,它包含计算图引擎、代码生成器、数据优化器3个不同层次的组件,在多个层次对运算和数据进行协同优化,最终生成高效的可部署模型。本文在现场可编程门阵列(FPGA)平台上评估了CDUCA,实验结果表明,对于典型的深度学习应用,CDUCA生成的模型性能能达到手工优化模型性能的86.5%。

关键词：深度学习深度学习处理器编译器编译优化

基于思元智能加速卡的OpenPose姿态识别网络模型移植和优化

在线全文

学校读者我要写书评

暂无评论

基于思元智能加速卡的OpenPose姿态识别网络模型移植和优化

作者：吴杨洋东南大学

学位级别：硕士

近年来,人机交互的应用场景越来越广泛,人体姿态识别作为相关研究的基础学科,其中基于卷积的OpenPose姿态识别神经网络能够以较高的精度捕捉人体姿态。但由于其网络结构复杂、层数多、计算量大,受制于传统处理器的算力而存在运行速度慢... 详细信息

近年来,人机交互的应用场景越来越广泛,人体姿态识别作为相关研究的基础学科,其中基于卷积的OpenPose姿态识别神经网络能够以较高的精度捕捉人体姿态。但由于其网络结构复杂、层数多、计算量大,受制于传统处理器的算力而存在运行速度慢、功耗高等问题,导致无法较好地部署于高实时性应用中。而随着处理器技术的发展,深度学习处理器的诞生为神经网络模型的训练和推理提供了强大的算力支持,这一特性也正是提升姿态识别网络模型运行性能的关键。所以本文提出将OpenPose模型与某深度学习处理器结合,在其上完成模型的移植和优化工作。最终在保证了模型识别精度的同时,以更低的功耗获得了更高的推理速度,并实现了OpenPose在深度学习处理器上的应用。主要贡献如下:(1)在模型移植中,使用智能编程语言初步重构了OpenPose网络中的算子,以适应深度学习处理器的硬件架构,然后将新算子添加到Py Torch框架中。最终OpenPose模型可通过框架调用算子进行正确的推理。(2)在模型性能优化中,首先将传统量化方法改良为基于KL散度的量化方法,并使用该方法对OpenPose模型进行存储上的优化,实现了FP32模型向INT8模型的转换,在尽可能减少精度损失的基础上提高了推理速度。然后针对初步重构的OpenPose网络算子,根据深度学习处理器的架构特点,优化为以多核流水线为整体结构的向量化指令计算形式,提高了算子并行度和运算速度。最后对OpenPose的运行方式进行了优化,将调用的多个算子进行了融合处理以减少数据的IO次数,并序列化保存了融合算子指令,从而最终生成了可脱离框架运行且能实时检测人体姿态的OpenPose离线模型。(3)在OpenPose离线模型的具体应用中,将其与按键控制跑酷游戏结合,改进成了人体姿态实时控制的跑酷游戏。在正确性上,人体姿态控制的动作响应结果能够与按键控制保持一致;在速度上,离线模型推理速度可达32.04fps,且在游戏中的整体延迟不高于40ms。结果表明,OpenPose离线模型在识别精度和运行延迟方面均满足实时应用系统部署的要求。

关键词： OpenPose 深度学习处理器量化流水线离线模型

基于DPU+ARM平台的光学遥感图像飞机目标检测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于DPU+ARM平台的光学遥感图像飞机目标检测

作者：王浩西安电子科技大学

学位级别：硕士

深度学习目标检测的发展,催生了模型部署的需求,模型部署分为云端和边缘端两大方向。光学遥感图像中的地物检测对实时性有很高的要求,适合部署在低时延、低功耗的边缘端设备上。本文对光学遥感图像的飞机目标检测方法进行了研究,并在DPU... 详细信息

深度学习目标检测的发展,催生了模型部署的需求,模型部署分为云端和边缘端两大方向。光学遥感图像中的地物检测对实时性有很高的要求,适合部署在低时延、低功耗的边缘端设备上。本文对光学遥感图像的飞机目标检测方法进行了研究,并在DPU+ARM边缘端异构平台上进行了模型部署和优化。本文的工作如下:(1)制作了AC-10数据集,基于DPU支持的算子,提出了FPNA模型。FPNA模型使用了Darknet19作为主干网络提取特征,为了充分利用不同尺度的特征,在Neck中使用了特征金字塔网络,并使用了三个检测头。训练时,针对光学遥感图像的特点,使用了4种数据增强的方法,并且使用了CIo U损失函数。服务器上的精度测试表明,FPNA模型的精度指标为56.0%,优于各类单阶段检测方法。将FPNA部署到DPU+ARM异构平台上,推理帧率为5.71FPS。(2)统筹考虑数据预处理、模型推理和后处理三部分,提出了基于DPU+ARM平台的单阶段单尺度飞机目标检测模型SSAD。基于结构重参数化的思想,设计了Rep VGG-L作为主干网络。Rep VGG-L在训练阶段是多路径结构,保证了模型的精度,推理阶段转换为单路径的平铺结构,适应边缘端硬件平台。基于空洞卷积设计了单输入单输出结构的Neck,只利用单一尺度的特征图并且融合了多重感受野的特征。检测头采用多分支结构以保证精度,对分类和回归分开解耦。实验表明,采用原图输入的SSAD的比FPNA高出0.9,边缘端推理速度是后者的1.35倍。(3)对SSAD模型进行了部署阶段优化,包括对图像Resize的影响进行了实验分析,对图像进入全局存储器过程中数据格式的转换进行了优化,在单线程推理速度优化到极限的基础上,应用多线程技术对SSAD的推理进一步提速,以上优化措施对精度均没有影响。针对实际任务中的大幅光学遥感图像的检测,设计了多线程加速的方法。优化后的SSAD对1024～2分辨率的图像检测帧率为单线程21.7FPS,3线程59.2FPS。对比DPU模型库中模型的检测效率,本文提出的SSAD模型处于较高水平。

关键词：边缘计算光学遥感图像飞机目标检测模型部署深度学习处理器