检索结果-南通市图书馆

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于混合精度的分布式GMRES算法优化

计算机科学 2024年

作者：郭帅哲高建花计卫星北京理工大学计算机学院

广义最小残差法（GMRES）是一种求解稀疏线性系统的迭代方法，广泛应用于科学与工程计算等领域。数据量的爆炸式增长使得GMRES算法求解的问题规模快速膨胀。为了支持大规模问题的求解，研究人员提出了面向集群的分布式GMRES算法。然而... 详细信息

广义最小残差法（GMRES）是一种求解稀疏线性系统的迭代方法，广泛应用于科学与工程计算等领域。数据量的爆炸式增长使得GMRES算法求解的问题规模快速膨胀。为了支持大规模问题的求解，研究人员提出了面向集群的分布式GMRES算法。然而在现有的大多数集群中，节点间的网络性能仍与节点内的GPU高速互联网络存在较大差距，限制了分布式GMRES算法的性能。本文针对GPU集群上的分布式GMRES算法，提出了一种基于混合精度的加速求解方法，通过使用低精度浮点表示，显著降低了通信过程的时间开销。此外，本文提出了一种数据传输的精度调控算法，动态自适应调整传输数据的精度，以保证迭代算法最佳的求解效果。实验结果表明，本文提出的基于混合精度的优化可实现平均2.4倍的加速比，结合其他优化方法后可实现平均7.6倍的加速比。

关键词：广义最小残差法混合精度 GPU集群分布式系统

混合精度频域卷积神经网络FPGA加速器设计

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机工程 2023年第12期49卷 1-9页

作者：陈逸刘博生徐永祺武继刚广东工业大学计算机学院广州510006

深度卷积神经网络具有模型大、计算复杂度高的特点,难以部署到硬件资源有限的现场可编程门阵列(FPGA)中。混合精度卷积神经网络可在模型大小和准确率之间做出权衡,从而为降低模型内存占用提供有效方案。快速傅里叶变换作为一种快速算法... 详细信息

深度卷积神经网络具有模型大、计算复杂度高的特点,难以部署到硬件资源有限的现场可编程门阵列(FPGA)中。混合精度卷积神经网络可在模型大小和准确率之间做出权衡,从而为降低模型内存占用提供有效方案。快速傅里叶变换作为一种快速算法,可将传统空间域卷积神经网络变换至频域,从而有效降低模型计算复杂度。提出一个基于FPGA的8 bit和16 bit混合精度频域卷积神经网络加速器设计。该加速器支持8 bit和16 bit频域卷积的动态配置,并可将8 bit频域乘法运算打包以复用DSP,用来提升计算性能。首先设计一个基于DSP的频域计算单元,支持8 bit和16 bit频域卷积运算,通过打包一对8 bit频域乘法以复用DSP,从而提升吞吐率。然后提出一个映射数据流,该数据流支持8 bit和16 bit计算两种形式,通过数据重用方式最大化减少冗余数据处理和数据搬运操作。最后使用ImageNet数据集,基于ResNet-18与VGG16模型对所设计的加速器进行评估。实验结果表明,该加速器的能效比(GOP与能耗的比值)在ResNet-18和VGG16模型上分别达到29.74和56.73,较频域FPGA加速器提升1.2~6.0倍。

关键词：卷积神经网络硬件加速器频域混合精度现场可编程门阵列

基于GPU粗细粒度和混合精度的SAR后向投影算法的并行加速研究

在线全文

学校读者我要写书评

暂无评论

信号处理 2023年第12期39卷 2213-2224页

作者：田卫明刘富强谢鑫王长军王健邓云开北京理工大学信息与电子学院雷达技术研究所北京100081 北京中建建筑科学研究院有限公司北京100076 北京理工大学重庆创新中心重庆401135 北京理工大学卫星导航电子信息技术教育部重点实验室北京100081

SAR(Synthelic Aperture Radar,合成孔径雷达)后向投影成像算法计算量大,严重影响SAR信息获取的时效性。GPU(Graphics Processing Unit,图像处理单元)具有强大的浮点计算能力及高度并行的架构,在处理可并行任务中具有显著优势。该文基于... 详细信息

SAR(Synthelic Aperture Radar,合成孔径雷达)后向投影成像算法计算量大,严重影响SAR信息获取的时效性。GPU(Graphics Processing Unit,图像处理单元)具有强大的浮点计算能力及高度并行的架构,在处理可并行任务中具有显著优势。该文基于GPU的粗细粒度和混合精度,针对SAR后向投影成像算法提出了一种并行加速技术方案。该方案基于异步流技术压缩了回波传输与脉冲压缩的耗时,解决了脉冲压缩效率受限于回波大小的问题;基于GPU共享内存,解决了矩阵转置过程中GPU内存不足的问题,并提高了矩阵转置效率;基于GPU粗细粒度,实现了后向投影算法在线程和线程块两层粒度上的加速并行,并基于混合精度的数据处理方法进一步提高了后向投影成像算法效率,提高了GPU计算资源利用率。通过对实测数据处理分析,验证了所提的GPU并行加速处理方案的正确性和加速性能。在相同实验条件下,较于CPU平台,双精度和混合精度的处理方法均获得了较大加速比,显著提升了成像效率。

关键词：合成孔径雷达后向投影图像处理单元并行优化混合精度

基于鲲鹏和昇腾异构平台的单节点HPL-AI设计与优化

在线全文

学校读者我要写书评

暂无评论

华南理工大学学报（自然科学版） 2024年第2期52卷 13-22页

作者：吴昊天任长青陆璐徐鹏翔杨凯华南理工大学计算机科学与工程学院广东广州510006 郑州信大先进技术研究院河南郑州450001 鹏城国家实验室广东深圳518000

鉴于低精度浮点运算拥有更快的运算速度,越来越多的高性能应用采用混合精度方案进行加速,而同样采用该方案来加速的AI(人工智能)大模型也受到广泛关注。最近,HPL-AI(High Performance LINPACK for Accelerator Introspection)基准测试... 详细信息

鉴于低精度浮点运算拥有更快的运算速度,越来越多的高性能应用采用混合精度方案进行加速,而同样采用该方案来加速的AI(人工智能)大模型也受到广泛关注。最近,HPL-AI(High Performance LINPACK for Accelerator Introspection)基准测试被提出,用于评估高性能系统的混合精度运算性能。针对该基准测试,本研究在鲲鹏和昇腾异构平台上设计并优化了单节点HPL-AI基准测试的实现。其主要通过循环任务分配的策略将任务均匀地分配给AI处理器以平衡AI处理器的负载;通过带间隔值的任务分配策略提高数据传输的连续性来减少CPU和AI处理器之间的数据传输时间;在不影响计算精度的情况下,通过取消数据缩放的策略来减少CPU侧的计算量。最终实验结果表明:当间隔值为8时,HPL-AI基准测试的混合精度浮点运算速度最快;同时,取消数据缩放不会对HPL-AI基准测试的结果精度产生影响;在鲲鹏和昇腾异构平台上,与非优化的HPL-AI基准测试方法相比,本研究提出的优化策略使混合精度浮点运算速度提升了29%左右,为单节点HPL-AI基准测试的进一步优化和部署多节点HPL-AI基准测试奠定了坚实的基础。

关键词：鲲鹏昇腾异构平台基准测试高性能计算混合精度

基于误差限制的神经网络混合精度量化方法(特邀)

在线全文

学校读者我要写书评

暂无评论

红外与激光工程 2022年第4期51卷 134-141页

作者：李奕铎郭子博刘凯孙逍遥西安电子科技大学计算机科学与技术学院陕西西安710071

基于卷积神经网络的深度学习算法展现出卓越性能的同时也带来了冗杂的数据量和计算量,大量的存储与计算开销也成了该类算法在硬件平台部署过程中的最大阻碍。而神经网络模型量化使用低精度定点数代替原始模型中的高精度浮点数,在损失较... 详细信息

基于卷积神经网络的深度学习算法展现出卓越性能的同时也带来了冗杂的数据量和计算量,大量的存储与计算开销也成了该类算法在硬件平台部署过程中的最大阻碍。而神经网络模型量化使用低精度定点数代替原始模型中的高精度浮点数,在损失较小精度的前提下可有效压缩模型大小,减少硬件资源开销,提高模型推理速度。现有的量化方法大多将模型各层数据量化至相同精度,混合精度量化则根据不同层的数据分布设置不同的量化精度,旨在相同压缩比下达到更高的模型准确率,但寻找合适的混合精度量化策略仍十分困难。因此,提出一种基于误差限制的混合精度量化策略,通过对神经网络卷积层中的放缩因子进行统一等比限制,确定各层的量化精度,并使用截断方法线性量化权重和激活至低精度定点数,在相同压缩比下,相比统一精度量化方法有更高的准确率。其次,将卷积神经网络的经典目标检测算法YOLOV5s作为基准模型,测试了方法的效果。在COCO数据集和VOC数据集上,该方法与统一精度量化相比,压缩到5位的模型平均精度均值(mean Average Precision,mAP)分别提高了6%和24.9%。

关键词：深度学习混合精度截断量化 YOLOV5

面向鲲鹏处理器的HPL-MxP多重lookahead优化

在线全文

学校读者我要写书评

暂无评论

计算机工程 2024年

作者：高昂王银山燕雯宋昌成王龙姚二林中国科学院计算技术研究所中国科学院大学华为技术有限公司

当下HPL-MxP基准测试程序被广泛用于衡量超算在混合精度计算下的计算能力。受制于该程序的并行实现算法，矩阵分块大小NB值的选取是一个需要兼顾矩阵乘效率和负载均衡的权衡问题。针对该问题，我们在鲲鹏920系统上进行了优化研究，本文... 详细信息

当下HPL-MxP基准测试程序被广泛用于衡量超算在混合精度计算下的计算能力。受制于该程序的并行实现算法，矩阵分块大小NB值的选取是一个需要兼顾矩阵乘效率和负载均衡的权衡问题。针对该问题，我们在鲲鹏920系统上进行了优化研究，本文提出多重lookahead优化策略：仍然采用小NB值进行矩阵分块实现更好的负载均衡，同时通过合并多轮尾矩阵更新提升等效NB值，实现负载均衡与高矩阵乘效率两者兼得的目标。为实现多重lookahead优化方案，本文重构了Panel存储方式，设计了计算与通信细粒度流水线，扩展了HPL-MxP源程序接口。在鲲鹏920多节点平台上的单双精度混合测试结果表明，HPL-MxP在多重lookahead优化下可有效解决NB值的权衡问题，且相较单重lookahead策略未产生明显额外开销。

关键词： HPL-MxP 混合精度多重lookahead

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于GPU的混合精度平方根共轭梯度算法

仪器仪表学报 2012年第1期33卷 97-104页

作者：李熙铭欧阳丹彤白洪涛吉林大学计算机科学与技术学院长春130012 吉林大学符号计算与知识工程教育部重点实验室长春130012 吉林大学公共计算机教学与研究中心长春130012 吉林大学地球探测科学与技术学院长春130026

针对当前基于GPU的数值算法具有双精度数据性能低下的缺陷。提出了一种适于GPU统一计算架构Fermi-CUDA的混合精度平方根共轭梯度算法用以求解稀疏线性方程组。该算法采用单精度内迭代与双精度外迭代结合的方法,以充分利用GPU体系结构下... 详细信息

针对当前基于GPU的数值算法具有双精度数据性能低下的缺陷。提出了一种适于GPU统一计算架构Fermi-CUDA的混合精度平方根共轭梯度算法用以求解稀疏线性方程组。该算法采用单精度内迭代与双精度外迭代结合的方法,以充分利用GPU体系结构下单精度高性能和双精度高精度的优点。整个算法的计算部分完全在GPU端进行,减少了CPU和GPU之间的数据通信。实现了基于GPU的平方根共轭梯度法、Jacobi迭代法和Gauss-Seidel迭代法,分析它们作为内迭代算子对算法收敛性的影响。实验表明,该算法获得了与全双精度数据处理等同的计算精度,比GPU全双精度在浮点性能上提升近一倍,相对于CPU全双精度串行算法,最大加速比达到70以上。

关键词：线性方程组平方根共轭梯度算法内外迭代子混合精度图形处理器

在线全文

学校读者我要写书评

暂无评论

基于敏感度的混合精度优化方法

信息工程大学学报 2022年第6期23卷 718-723页

作者：侯明郭绍忠王攀杰许瑾晨信息工程大学河南郑州450001 数学工程与先进计算国家重点实验室河南郑州450001

现有高性能计算应用中浮点运算通常使用高精度浮点类型,但使用高精度会带来性能上的损失等额外开销,故可以采取降低程序中部分浮点变量的精度从而在满足精度需求的同时提升程序性能,但对于不同的浮点计算程序来说,用户在无策略的条件下... 详细信息

现有高性能计算应用中浮点运算通常使用高精度浮点类型,但使用高精度会带来性能上的损失等额外开销,故可以采取降低程序中部分浮点变量的精度从而在满足精度需求的同时提升程序性能,但对于不同的浮点计算程序来说,用户在无策略的条件下较难确定哪些浮点变量能够降低精度。针对这一问题,提出一种基于误差敏感度的自动混合精度工具Miplex,相较于以往的混合精度工具,能够将找到有效混合精度方案的时间复杂度从O(N2)约束至O(N),从而快速找到满足误差需求的混合精度分配方案。实验结果表明,相较于现有的混合精度工具,最大获得了80.31%的性能提升;在x86和SW测试平台上相比较原始高精度程序也获得了最大为35.84%和33.12%的加速效果。

关键词：浮点计算混合精度数值分析程序优化

混合精度ADC大规模MIMO系统的性能分析与优化设计

在线全文

学校读者我要写书评

暂无评论

混合精度ADC大规模MIMO系统的性能分析与优化设计

作者：付垠凯江苏大学

学位级别：硕士

随着移动通信设备的不断增加,移动数据流量不断增长,这对移动通信系统提出了更高的要求,第五代移动通信系统（5G,the 5th Generation of Mobile Communication Systems）应运而生。其中,大规模多输入多输出（MIMO,Multiple Input Multip... 详细信息

随着移动通信设备的不断增加,移动数据流量不断增长,这对移动通信系统提出了更高的要求,第五代移动通信系统（5G,the 5th Generation of Mobile Communication Systems）应运而生。其中,大规模多输入多输出（MIMO,Multiple Input Multiple Output）技术能够充分挖掘空间自由度、显著提高频谱效率和能量效率、降低时延以及提高传输可靠性。因此,大规模MIMO技术成为5G关键技术之一。但是,大规模MIMO系统需要部署大量天线,这会带来海量数据处理、硬件成本高昂以及系统功耗高等问题。通过在接收机使用低精度模拟数字转换器（ADC,Analog to Digital Converter）,可以降低硬件成本、减小功耗以及计算复杂度,是有效解决大规模MIMO系统面临的上述问题的技术手段。然而,低精度ADC由于严重的量化噪声,需要使用更多天线以获得较好性能。混合精度ADC结构采用高、低精度ADC组合的方式,既可以保证大规模MIMO系统的性能,又能够显著降低功耗和硬件成本。本文将研究混合精度ADC大规模MIMO系统的性能分析与最优量化比特分配问题。一方面,论文分析了混合精度ADC集中式大规模MIMO系统的上行链路可达速率和能量效率。采用加性量化噪声模型（AQNM,Additive Quantization Noise Model）对ADC量化噪声进行建模,分别推导了最大比合并（MRC,Maximum Ratio Combining）、迫零（ZF,Zero Forcing）和最小均方误差（MMSE,Minimum Mean Square Error）检测下系统可达速率和能量效率的渐近表达式。分析结果表明,对于MRC和ZF检测,等精度ADC结构可以实现最优性能,而MMSE检测下混合精度ADC结构性能最优。基于上述结论,论文针对MMSE检测设计了最优量化比特分配算法。仿真结果表明,论文提出的可达速率和能量效率渐近表达式非常准确;集中式大规模MIMO系统中混合精度ADC结构的性能显著优于低精度ADC结构,其能效大幅领先全精度ADC结构。另一方面,针对分布式大规模MIMO系统,每个远程接入单元（RAU,Remote Antenna Unit）使用不同量化精度的ADC进行量化,推导了MRC和ZF检测的上行可达速率和能量效率表达式,通过仿真评估了MMSE检测时系统的性能。仿真结果表明,对于MRC检测,本文得到的可达速率和能量效率表达式十分准确,混合精度ADC结构的分布式大规模MIMO系统可达速率与全精度ADC架构差距不大;分布式大规模MIMO系统在小区范围较大时性能优于传统的集中式大规模MIMO系统;在使用ZF检测时,混合精度和低精度ADC结构的可达速率与全精度结构有较大差距,但能量效率大幅领先;对于MMSE检测,混合精度ADC分布式大规模MIMO系统的可达速率在高信噪比（SNR,Signal to Noise Ratio）情况下优于低精度ADC结构。

关键词：大规模MIMO 混合精度 AQNM 可达速率能量效率最优量化比特