检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

内存计算框架局部数据优先拉取策略

计算机研究与发展 2017年第4期54卷 787-803页

作者：卞琛于炯修位蓉钱育蓉英昌甜廖彬新疆大学信息科学与工程学院乌鲁木齐830046 新疆财经大学统计与信息学院乌鲁木齐830012

内存计算框架的低延迟特性大幅提高了集群的计算效率,但Shuffle过程的性能瓶颈仍不可规避.宽依赖的同步操作导致大多数工作节点等待慢节点的计算结果,同步过程不仅浪费计算资源,更增加了作业延时,这一现象在异构集群环境下尤为突出.针... 详细信息

内存计算框架的低延迟特性大幅提高了集群的计算效率,但Shuffle过程的性能瓶颈仍不可规避.宽依赖的同步操作导致大多数工作节点等待慢节点的计算结果,同步过程不仅浪费计算资源,更增加了作业延时,这一现象在异构集群环境下尤为突出.针对内存计算框架Shuffle操作的同步问题,建立了资源需求模型、执行效率模型和任务分配及调度模型.给出了分配效能熵(allocation efficiency entropy,AEE)和节点贡献度(worker contribution degree,WCD)的定义,提出了算法的优化目标.根据模型的相关定义求解,设计了局部数据优先拉取算法(partial data shuffled first algorithm,PDSF),通过高效节点优先调度,提高流水线与宽依赖任务的时间重合度,减少宽依赖Shuffle过程的同步延时,优化集群资源利用率;通过适度倾斜的任务分配,在保障慢节点计算连续性的前提下,提高分配任务量与节点计算能力的适应度,优化作业执行效率;通过分析算法的相关优化原则,证明了算法的帕累托最优性.实验表明:PDSF算法提高了内存计算框架的作业执行效率,并使集群资源得到有效利用.

关键词：内存计算任务分配作业调度分配效能熵节点贡献度异构环境

在线全文

学校读者我要写书评

暂无评论

内存计算研究进展

中国科学：信息科学 2021年第2期51卷 173-205页

作者：毛海宇舒继武李飞刘喆清华大学计算机系北京100084

随着应用数据处理需求的激增,在传统冯·诺依曼(von Neumann)体系结构中,处理器到主存之间的总线数据传输逐渐成为瓶颈.不仅如此,近年来兴起的数据密集型应用,如神经网络和图计算等,呈现出较严重的数据局部性,缓存命中率低.在这些新兴... 详细信息

随着应用数据处理需求的激增,在传统冯·诺依曼(von Neumann)体系结构中,处理器到主存之间的总线数据传输逐渐成为瓶颈.不仅如此,近年来兴起的数据密集型应用,如神经网络和图计算等,呈现出较严重的数据局部性,缓存命中率低.在这些新兴数据密集型应用的处理过程中,中央处理器到主存间的数据传输量大,导致系统的性能不佳且能耗变高.针对传统冯·诺依曼体系结构的局限性,内存计算通过赋予主存端一定的计算能力,以缓解因数据量大以及数据局部性差带来的总线拥堵和传输能耗高的问题.内存计算有两大形式,一种是以高带宽的连接方式将计算资源集成到主存单元中(近数据计算),另一种是直接利用存储单元做计算(存内计算).这两种形式有各自的优缺点和适用场景.本文首先介绍并分析了内存计算的提出和兴起原因,然后从硬件和微体系结构方面介绍内存计算技术,接着分析和总结了内存计算所面临的挑战,最后介绍了内存计算给目前流行的应用带来的机遇.

关键词：内存计算近数据计算存内计算神经网络图计算

在线全文

学校读者我要写书评

暂无评论

基于3D忆阻器阵列的神经网络内存计算架构

计算机研究与发展 2019年第6期56卷 1149-1160页

作者：毛海宇舒继武清华大学计算机科学与技术系

现如今,由于人工智能的飞速发展,基于忆阻器的神经网络内存计算(processing in memory,PIM)架构吸引了很多研究者的兴趣,因为其性能远优于传统的冯·诺依曼计算机体系结构的性能.配备了支持功能单元的外围电路,忆阻器阵列可以以高并行... 详细信息

现如今,由于人工智能的飞速发展,基于忆阻器的神经网络内存计算(processing in memory,PIM)架构吸引了很多研究者的兴趣,因为其性能远优于传统的冯·诺依曼计算机体系结构的性能.配备了支持功能单元的外围电路,忆阻器阵列可以以高并行度以及相比于CPU和GPU更少的数据移动来处理一个前向传播.然而,基于忆阻器的内存计算硬件存在忆阻器的外围电路面积过大以及不容忽视的功能单元利用率过低的问题.提出了一种基于3D忆阻器阵列的神经网络内存计算架构FMC(function-pool based memristor cube),通过把实现功能单元的外围电路聚集到一起,形成一个功能单元池来供多个堆叠在其上的忆阻器阵列共享.还提出了一种针对基于3D忆阻器阵列的内存计算的数据映射策略,进一步提高功能单元的利用率并减少忆阻器立方体之间的数据传输.这种针对基于3D忆阻器阵列的内存计算的软硬件协同设计不仅充分利用了功能单元,并且缩短了互联电路、提供了高性能且低能耗的数据传输.实验结果表明:在只训练单个神经网络时,提出的FMC能使功能单元的利用率提升43.33倍;在多个神经网络训练任务的情况下,能提升高达58.51倍.同时,和有相同数目的Compute Array及Storage Array的2D-PIM比较,FMC所占空间仅为2D-PIM的42.89%.此外,FMC相比于2D-PIM有平均1.5倍的性能提升,并且有平均1.7倍的能耗节约.

关键词： 3D忆阻器阵列内存计算神经网络外围电路互联线路

在线全文

学校读者我要写书评

暂无评论

内存计算框架下的图书馆文献服务及案例研究

图书馆论坛 2017年第12期37卷 87-94页

作者：何胜熊太纯柳益君叶飞跃赵小荣江苏理工学院计算机工程学院江苏理工学院图书馆党总支

以图书馆海量文献资源为基础,为用户提供高效服务是图书馆大数据应用研究领域的主要挑战。文章分析了该领域应用需求,结合以Spark为代表的内存计算框架特点,阐述其在提供文献大数据服务方面的独特优势,提出以文献资源聚合模式和Spark技... 详细信息

以图书馆海量文献资源为基础,为用户提供高效服务是图书馆大数据应用研究领域的主要挑战。文章分析了该领域应用需求,结合以Spark为代表的内存计算框架特点,阐述其在提供文献大数据服务方面的独特优势,提出以文献资源聚合模式和Spark技术为支撑的图书馆文献服务方案,设计应用案例并分析实验结果。

关键词：图书馆文献服务内存计算大数据本体关联数据

在线全文

学校读者我要写书评

暂无评论

基于内存计算的纺织生产设备电能耗分析方法

毛纺科技 2017年第3期45卷 56-61页

作者：王中锋河南工程学院河南郑州451191

节能减排影响着纺织生产企业的生存和发展,通过分析设备的耗电情况实现精细化管理是一种减少生产能耗的途径。但是,在针对电能耗大数据进行分析时,基于Hadoop的计算框架无法暂存分析的中间结果,分析效率低。文章采用Spark计算框架,提出... 详细信息

节能减排影响着纺织生产企业的生存和发展,通过分析设备的耗电情况实现精细化管理是一种减少生产能耗的途径。但是,在针对电能耗大数据进行分析时,基于Hadoop的计算框架无法暂存分析的中间结果,分析效率低。文章采用Spark计算框架,提出一种基于内存计算的设备耗电情况分析模型和毛纺流水线电能耗分析方案,依据毛纺工艺流程设计电能耗分析的处理流程和电能耗分析管理系统,利用Mahout类库实现分析算法。实践证明,内存计算技术的应用在提高毛纺企业生产设备电能耗分析效率的同时,还提升了生产过程的精细化管理水平和企业的竞争力。

关键词：节能减排纺织内存计算电能耗

不对称内存计算平台OLAP查询处理技术研究

在线全文

学校读者我要写书评

暂无评论

华东师范大学学报（自然科学版） 2016年第5期 89-102页

作者：张延松张宇周烜王珊中国人民大学DEKE实验室北京100872 中国人民大学信息学院北京100872 中国人民大学中国调查与数据中心北京100872 国家卫星气象中心北京100081

给出了一种面向当前和未来不对称内存计算平台的OLAP查询处理技术.不对称内存计算平台是指配置有不同计算类型的处理器、不同存储访问设备的计算机,因此需要对OLAP查询处理模型按不同的计算特点进行优化存储配置和实现算法设计,从而使O... 详细信息

给出了一种面向当前和未来不对称内存计算平台的OLAP查询处理技术.不对称内存计算平台是指配置有不同计算类型的处理器、不同存储访问设备的计算机,因此需要对OLAP查询处理模型按不同的计算特点进行优化存储配置和实现算法设计,从而使OLAP查询处理的不同阶段更好地适应相应的存储与计算设备的硬件特点,提高硬件设备的利用率,更好地发挥硬件的性能.提出了3阶段OLAP计算模型,将传统基于迭代处理模型的OLAP查询处理过程分解为计算密集型和数据密集型负载,分别由功能完备的通用处理器和并行计算能力强大的协处理器分而治之地完成,并最小化不同存储与计算设备之间的数据传输代价.实验结果表明基于负载划分的3阶段OLAP计算模型能够较好地适应CPU-Phi不对称计算平台,实现通过计算型硬件加速计算密集型负载,从而加速整个OLAP查询处理性能的目标.

关键词：内存计算不对称计算平台内存联机分析处理

在线全文

学校读者我要写书评

暂无评论

一种基于内存计算的电力用户聚类分析方法

智能系统学报 2015年第4期10卷 569-576页

作者：王德文孙志伟华北电力大学控制与计算机工程学院河北保定071003

随着智能电表与采集终端采集的用电数据迅猛增长,传统数据分析方法已经不能满足大数据环境下智能用电行为分析的需要。鉴于K-means算法具有计算效率高、容易并行化等特点,采用弹性分布式数据集与并行内存计算框架对其进行改进与并行化,... 详细信息

随着智能电表与采集终端采集的用电数据迅猛增长,传统数据分析方法已经不能满足大数据环境下智能用电行为分析的需要。鉴于K-means算法具有计算效率高、容易并行化等特点,采用弹性分布式数据集与并行内存计算框架对其进行改进与并行化,减少作业的运行与输入输出操作时间,提高聚类分析的处理能力。对用电测量数据进行预处理构建实验数据集,实验结果表明本方法对电力用户聚类分析的准确率高于单机K-means方法,其处理速度和能力明显优于单机和基于Map Reduce并行计算框架的聚类方法,并对数据的增长具有较好的适应性。

关键词：大数据智能用电弹性分布式数据集内存计算聚类分析

在线全文

学校读者我要写书评

暂无评论

内存计算系统参数自动调优研究

内存计算系统参数自动调优研究

作者：李明玉华中科技大学

学位级别：硕士

内存计算系统（例如Spark）已经广泛用于处理工业界的海量数据。为了提高这些系统的计算效率和鲁棒性,系统开发人员为用户提供了许多高度可配置的参数。由于高维度的参数空间和复杂的参数交互作用,手工调优这些参数既耗时又低效。因此,... 详细信息

内存计算系统（例如Spark）已经广泛用于处理工业界的海量数据。为了提高这些系统的计算效率和鲁棒性,系统开发人员为用户提供了许多高度可配置的参数。由于高维度的参数空间和复杂的参数交互作用,手工调优这些参数既耗时又低效。因此,用户急需一种内存计算系统的参数自动调优方法。目前参数自动调优常用的方法是基于机器学习的方法（Machine Learning-based,ML-based）,ML-based方法中需要解决的一个关键问题是应用程序的性能预测问题。ML-based方法中为应用程序构建性能预测模型需要应对以下两方面的挑战:（1）收集训练数据需要耗费大量时间;（2）在训练数据有限的情况下,性能预测模型的准确率很低且鲁棒性差。为了应对这些挑战,设计并且实现了一个内存计算系统配置参数的自动调优系统ATCS,它是一种基于生成对抗网络（Generative Adversarial Network,GAN）的新的参数自动调优方法。ATCS可以使用较少的训练数据并且不牺牲模型准确率来构建性能预测模型。此外,在ATCS中使用了优化的遗传算法来探索内存计算系统的参数空间,以获得性能最佳的配置参数组。为了证明ATCS系统的有效性,在Spark上选择了五个经常使用的工作负载,每个工作负载都在五个不同大小的数据集上运行。实验结果表明,ATCS提高了五个常用Spark工作负载的性能。与默认配置相比,ATCS平均提高了3.5倍的性能,最高可达到6.9倍。实验结果还表明,为了获得相似的模型精度,ATCS训练数据的数量仅为深度神经网络（Deep Neural Networks,DNN）训练数据量的6%,支持向量机（Support Vector Machines,SVM）训练数据量的13%,决策树（Decision Tree,DT）训练数据量的18%。此外,在五种典型的Spark应用程序上,与其他机器学习模型相比,ATCS的平均性能提升为DNN的1.7倍,SVM的1.6倍,DT的1.7倍。

关键词：大数据内存计算自动调优生成对抗网络遗传算法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于内存计算的大规模图数据管理研究

华东师范大学学报（自然科学版） 2014年第5期 55-71页

作者：袁培森舒欣沙朝锋徐焕良南京农业大学信息科技学院南京210095 复旦大学计算机科学技术学院上海200433

图是一种重要的数据模型,能够描述结构化的信息,在诸如交通网络、社交网络、Web页面链接关系等领域应用广泛,因而获得了广泛的研究.海量的图数据管理对传统的图分析处理技术提出了挑战,分布式集群计算为大规模图数据分析提供了基础平台... 详细信息

图是一种重要的数据模型,能够描述结构化的信息,在诸如交通网络、社交网络、Web页面链接关系等领域应用广泛,因而获得了广泛的研究.海量的图数据管理对传统的图分析处理技术提出了挑战,分布式集群计算为大规模图数据分析提供了基础平台.随着计算机硬件性价比的大幅提升以及高性能应用需求,基于内存计算的海量数据处理技术获得了业界青睐.图数据高效存储和计算与内存计算密切相关,在此背景下,文章综述了大规模图数据处理相关技术进展,研究了典型的基于内存计算的大规模图数据管理系统,最后总结了基于内存计算的图数据管理的关键点.

关键词：内存计算图数据分布式计算