检索结果-南通市图书馆

Sampling Methods for Efficient Training of Graph Convolutional Networks:A Survey

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

IEEE/CAA Journal of Automatica Sinica 2022年第2期9卷 205-234页

作者： Xin Liu Mingyu Yan Lei Deng Guoqi Li Xiaochun Ye dongrui fan State Key Laboratory of Computer Architecture Institute of Computing TechnologyChinese Academy of SciencesBeijing 100086 School of Computer Science and Technology University of Chinese Academy of SciencesBeijing 100049 IEEE Department of Precision Instrument Center for Brain Inspired Computing ResearchTsinghua UniversityBeijing 100084China

Graph convolutional networks(GCNs)have received significant attention from various research fields due to the excellent performance in learning graph *** GCN performs well compared with other methods,it still faces *** a GCN model for large-scale graphs in a conventional way requires high computation and storage ***,motivated by an urgent need in terms of efficiency and scalability in training GCN,sampling methods have been proposed and achieved a significant *** this paper,we categorize sampling methods based on the sampling mechanisms and provide a comprehensive survey of sampling methods for efficient training of *** highlight the characteristics and differences of sampling methods,we present a detailed comparison within each category and further give an overall comparative analysis for the sampling methods in all ***,we discuss some challenges and future research directions of the sampling methods.

关键词： Efficient training graph convolutional networks(GCNs) graph neural networks(GNNs) sampling method

在线全文

学校读者我要写书评

暂无评论

一种缓解多线程访存干扰的VRB内存机制

计算机研究与发展 2015年第11期52卷 2577-2588页

作者：高珂范东睿刘志勇计算机体系结构国家重点实验室(中国科学院计算技术研究所) 北京100190 中国科学院大学北京100049 北京市移动计算和新型终端重点实验室(中国科学院计算技术研究所) 北京100190

目前处理器通过持续增加核数和同时执行的线程数来提高系统性能.但是,增加共享内存的处理器核数和线程数会使得存储器中的行缓存(row-buffer,RB)命中率下降,造成存储器访问功耗增加和访存延迟增加.设计并开发了一种细粒度的victim row-b... 详细信息

目前处理器通过持续增加核数和同时执行的线程数来提高系统性能.但是,增加共享内存的处理器核数和线程数会使得存储器中的行缓存(row-buffer,RB)命中率下降,造成存储器访问功耗增加和访存延迟增加.设计并开发了一种细粒度的victim row-buffer(VRB)内存机制系统来解决此问题.VRB机制提供附加的行缓存(VRB),暂时缓存由于行缓存(RB)冲突而从行缓存(RB)逐出的数据,以备后续可能的访问.这种机制缓解了多线程冲突,增加了DRAM中行缓存数据的重用率,避免了不必要的内存数据阵列的访问、行激活和预充电、数据传输等电路动作,可以通过少量的硬件代价提高内存系统的性能,并节约系统的功耗消耗.通过时序精确的全系统模拟器实验,对比8核的Intel Xeon处理器,所提出的VRB机制可以达到最高17.6%(平均8.7%)的系统级吞吐率改善、最高142.9%(平均51.4%)的行缓存命中率改善以及最高17.6%(平均9.2%)的系统功耗改善.

关键词： DRAM结构设计行缓存功耗消耗多线程 VRB机制

在线全文

学校读者我要写书评

暂无评论

提升稀疏目录缓存一致性系统性能的方法

计算机研究与发展 2014年第9期51卷 1955-1970页

作者：张轮凯宋风龙王达范东睿孙凝晖中国科学院计算技术研究所高性能计算机研究中心北京100190 中国科学院大学北京100049

稀疏目录技术在缓存一致性非一致存储访问(cache coherent non-uniform memory access,ccNUMA)系统中有广泛应用.但是,稀疏目录技术的一个主要缺陷在于目录项替换在目录热点存在的情况下会严重降低系统的性能.针对此问题,研究如何提升... 详细信息

稀疏目录技术在缓存一致性非一致存储访问(cache coherent non-uniform memory access,ccNUMA)系统中有广泛应用.但是,稀疏目录技术的一个主要缺陷在于目录项替换在目录热点存在的情况下会严重降低系统的性能.针对此问题,研究如何提升稀疏目录性能.首先,从定性和定量的角度对主流的稀疏目录替换算法进行了分析,并且发现最为原始的最久未使用(least-recent-used,LRU)算法的性能实际上要优于一些近期提出的目录替换算法,如最少共享者(least-sharer-count,LSC)算法.其次,将victim cache的思想应用到稀疏目录上,提出了victim目录(victim directory),该技术在主稀疏目录模块上加入了一个小的全相联二级目录存储.最后,提出了选择性victim目录(selective victim directory)技术,使得victim目录选择性地仅存储有用的目录项,从而进一步减少了目录替换的数量.选择性victim目录通过向所有节点的cache发出探查消息(probe messages),从而选择性地存储较为有用的目录项.实验证明,选择性victim目录取得了比简单victim目录更好的性能;而且在仅增加了1KB左右的硬件开销的代价下,选择性victim目录节省了35.7%的程序运行时间.

关键词： ccNUMA系统稀疏目录替换算法 victim目录选择性victim目录

应用输入向量控制技术降低漏电功耗的快速算法

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2006年第5期43卷 946-952页

作者：常晓涛范东睿韩银和张志敏中国科学院计算技术研究所中国科学院研究生院北京100049

随着工艺的发展,为保证电路的性能和噪声容限必须降低阈值电压,这将导致漏电流呈指数增长,漏电功耗因而将逐渐超过动态功耗占据主导地位.CMOS的堆栈效应导致电路在不同向量下的静态功耗不同,因此在电路进入睡眠状态时使用输入向量控制... 详细信息

随着工艺的发展,为保证电路的性能和噪声容限必须降低阈值电压,这将导致漏电流呈指数增长,漏电功耗因而将逐渐超过动态功耗占据主导地位.CMOS的堆栈效应导致电路在不同向量下的静态功耗不同,因此在电路进入睡眠状态时使用输入向量控制技术是一种低功耗设计的有效方法,如何快速找到一个可降低电路漏电功耗的向量就成了问题的关键.介绍了一种在给定向量集合中查找低功耗向量的快速算法——基于概率传递的标记算法,并为此开发了一个事件驱动的门级组合电路仿真器.通过对ISCAS和龙芯处理器电路的实验结果表明,该算法同传统方法比较可以提高性能3.4倍,误差率仅约0.14%.

关键词：漏电功耗输入向量控制低功耗设计门级电路仿真器

在线全文

学校读者我要写书评

暂无评论

中国高通量计算机的自主研发之路

中国科学院院刊 2019年第6期34卷 648-656页

作者：范东睿叶笑春包云岗孙凝晖中国科学院计算技术研究所

随着互联网技术的迅猛发展,高性能计算的主要应用从传统的科学与工程计算为主逐步演变为以数据处理为核心,这给传统高性能计算机体系结构带来巨大挑战的同时,也使高通量计算应运而生。文章从应用特征出发阐述了高通量计算与传统高性能... 详细信息

随着互联网技术的迅猛发展,高性能计算的主要应用从传统的科学与工程计算为主逐步演变为以数据处理为核心,这给传统高性能计算机体系结构带来巨大挑战的同时,也使高通量计算应运而生。文章从应用特征出发阐述了高通量计算与传统高性能计算的差别,并探讨了高通量计算的基础理论、关键技术,以及中国科学院在高通量计算核心芯片及系统领域的研究成果;以期通过高通量计算机关键技术的研究与突破,为缓解我国核心芯片'卡脖子'的问题,以及为构建智能万物互联时代的新型高性能计算平台作出贡献。

关键词：高性能计算高通量计算数据中心系统熵

在线全文

学校读者我要写书评

暂无评论

面向低精度神经网络的数据流体系结构优化

计算机研究与发展 2023年第1期60卷 43-58页

作者：范志华吴欣欣李文明曹华伟安学军叶笑春范东睿处理器芯片全国重点实验室(中国科学院计算技术研究所) 北京100190 中国科学院大学计算机科学与技术学院北京100049

数据流架构的执行方式与神经网络算法具有高度匹配性,能充分挖掘数据的并行性.然而,随着神经网络向更低精度的发展,数据流架构的研究并未面向低精度神经网络展开,在传统数据流架构部署低精度(INT8,INT4或者更低)神经网络时,会面临3个问... 详细信息

数据流架构的执行方式与神经网络算法具有高度匹配性,能充分挖掘数据的并行性.然而,随着神经网络向更低精度的发展,数据流架构的研究并未面向低精度神经网络展开,在传统数据流架构部署低精度(INT8,INT4或者更低)神经网络时,会面临3个问题:1)传统数据流架构的计算部件数据通路与低精度数据不匹配,无法体现低精度神经网络的性能和能效优势;2)向量化并行计算的低精度数据在片上存储中要求顺序排列,然而它在片外存储层次中是分散排列的,使得数据的加载和写回操作变得复杂,传统数据流架构的访存部件无法高效支持这种复杂的访存模式;3)传统数据流架构中使用双缓冲机制掩盖数据的传输延迟,但是,当传输低精度数据时,传输带宽的利用率显著降低,导致计算延迟无法掩盖数据传输延迟,双缓冲机制面临失效风险,进而影响数据流架构的性能和能效.为解决这3个问题,设计了面向低精度神经网络的数据流加速器DPU_Q.首先,设计了灵活可重构的计算单元,根据指令的精度标志位动态重构数据通路,一方面能高效灵活地支持多种低精度数据运算,另一方面能进一步提高计算并行性和吞吐量.另外,为解决低精度神经网络复杂的访存模式,设计了Scatter引擎,该引擎将在低层次或者片外存储中地址空间离散分布的低精度数据进行拼接、预处理,以满足高层次或者片上存储对数据排列的格式要求.同时,Scatter引擎能有效解决传输低精度数据时带宽利用率低的问题,解决了双缓冲机制失效的问题.最后,从软件方面提出了基于数据流执行模式的低精度神经网络映射算法,兼顾负载均衡的同时能对权重、激活值数据进行充分复用,减少了访存和数据流图节点间的数据传输开销.实验表明,相比于同精度的GPU(Titan Xp)、数据流架构(Eyeriss)和低精度神经网络加速器(BitFusion),DPU_Q分别获得3.18倍、6.05倍、1.52倍的性能提升和4.49倍、1.6倍、1.13倍的能效提升.

关键词：数据流架构低精度神经网络量化可重构架构直接内存访问

在线全文

学校读者我要写书评

暂无评论

面向数据流结构的指令内访存冲突优化研究

计算机研究与发展 2019年第12期56卷 2720-2732页

作者：欧焱冯煜晶李文明叶笑春王达范东睿计算机体系结构国家重点实验室(中国科学院计算技术研究所) 北京100190 中国科学院大学计算机科学与技术学院北京100049

神经网络等人工智能应用的迅速兴起给传统处理器的设计带来了巨大的挑战,粗粒度数据流架构因具有高指令并发和高通用性的特点成为研究热点.然而,由于粗粒度数据流结构处理单元采用随机访问存储器作为存储结构,加之神经网络中大部分运算... 详细信息

神经网络等人工智能应用的迅速兴起给传统处理器的设计带来了巨大的挑战,粗粒度数据流架构因具有高指令并发和高通用性的特点成为研究热点.然而,由于粗粒度数据流结构处理单元采用随机访问存储器作为存储结构,加之神经网络中大部分运算数据具有密集型特点,造成大量的指令内操作数访存冲突.通过分析典型神经网络的访存行为,发现此类应用存在指令内操作数冲突,会引起计算部件利用率的降低.基于此分析,提出了灵活的数据冗余策略.在编译指令阶段,为指令内有访存冲突的操作数申请数据冗余空间,降低指令内操作数访存延迟.实验以典型的神经网络LeNet,AlexNet为基准测试程序.采用灵活的数据冗余策略之后,能耗比相对于Round-Robin和ReHash的无数据冗余策略分别提高了30.21%和12.37%,相比于2套全数据冗余策略能耗比提高了27.95%.

关键词：数据流架构访存冲突数据冗余灵活的数据冗余策略无数据冗余策略全数据冗余策略能耗比

在线全文

学校读者我要写书评

暂无评论

一种缓存数据流信息的处理器前端设计

计算机研究与发展 2016年第6期53卷 1221-1237页

作者：刘炳涛王达叶笑春张浩范东睿张志敏中国科学院计算技术研究所北京100190 中国科学院大学北京100049

为了能够同时发掘程序的线程级并行性和指令级并行性,动态多核技术通过将数个小核重构为一个较强的虚拟核来适应程序多样的需求.通常这种虚拟核性能弱于占有等量芯片资源的原生核,一个重要的原因就是取指、译码和重命名等流水线的前端... 详细信息

为了能够同时发掘程序的线程级并行性和指令级并行性,动态多核技术通过将数个小核重构为一个较强的虚拟核来适应程序多样的需求.通常这种虚拟核性能弱于占有等量芯片资源的原生核,一个重要的原因就是取指、译码和重命名等流水线的前端各阶段具有串行处理的特征较难经重构后协同工作.为解决此问题,提出了新的前端结构——数据流缓存,并给出与之配合的向量重命名机制.数据流缓存利用程序的数据流局部性,存储并重用指令基本块内的数据依赖等信息.处理器核利用数据流缓存能更好地发掘程序的指令级并行性并降低分支预测错误的惩罚,而动态多核技术中的虚拟核通过使用数据流缓存旁路传统的流水线前端各阶段,其前端难协同工作的问题得以解决.对SPEC CPU2006中程序的实验证明了数据流缓存能够以有限代价覆盖大部分程序超过90%的动态指令,然后分析了添加数据流缓存对流水线性能的影响.实验证明,在前端宽度为4条指令、指令窗口容量为512的配置下,采用数据流缓存的虚拟核性能平均提升9.4%,某些程序性能提升高达28%.

关键词：处理器微结构指令缓存数据流指令重命名数据流局部性

构建城市“互联网+”新型基础设施发展战略研究

在线全文

学校读者我要写书评

暂无评论

中国工程科学 2020年第4期22卷 106-113页

作者：范灵俊杨菲郑卫城洪学海范东睿中国科学院计算技术研究所北京100190 贵阳市大数据产业集团有限公司贵阳550081

构建城市“互联网+”新型基础设施是我国深入推进“互联网+”行动计划发展的关键领域。本文在分析需求、发展现状及面临问题的基础上,提出构建城市“互联网+”新型基础设施需应对海量数据的有效汇聚、融合和应用,确保网络服务高并发、... 详细信息

构建城市“互联网+”新型基础设施是我国深入推进“互联网+”行动计划发展的关键领域。本文在分析需求、发展现状及面临问题的基础上,提出构建城市“互联网+”新型基础设施需应对海量数据的有效汇聚、融合和应用,确保网络服务高并发、低延迟、高安全可靠的实时处理和响应。研究论证了构建城市“互联网+”新型基础设施的典型建设路径,即通过建设数据中台解决城市数据的高效融合和有效利用问题,通过城市“信息高铁站”提供高通量和高品质的服务,剖析了二者作为城市“互联网+”新阶段核心基础设施的概念支撑与技术要点。为推进我国“互联网+”的纵深发展,本文从前瞻规划、因城施策以及建设灵活运营模式等方面给出了建设城市“互联网+”新型基础设施的对策建议。

关键词：互联网+ 新型基础设施数据中台信息高铁高通量计算