检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于CC-NUMA结构的IO系统设计

计算机研究与发展 2005年第6期42卷 913-917页

作者：吴吉庆刘衡竹王海涛国防科学技术大学计算机学院长沙410073 中国空间技术研究院北京100080

在被高性能计算采用较多的CCNUMA结构中,IO资源的常见组织形式是分散在各计算结点下,由各结点分散管理.这种组织形式有一些潜在的问题.首先对这些问题进行了分析,然后利用现有的IO链路技术和存储网络技术,提出了一种新的IO系统结构,并... 详细信息

在被高性能计算采用较多的CCNUMA结构中,IO资源的常见组织形式是分散在各计算结点下,由各结点分散管理.这种组织形式有一些潜在的问题.首先对这些问题进行了分析,然后利用现有的IO链路技术和存储网络技术,提出了一种新的IO系统结构,并介绍了关键模块的设计.经过功能分析表明,新的IO系统结构能取得较高的性能,为全局共享分布并行IO技术的发展提供了参考.

关键词： HyperTransport链路 infiniband网络 IO控制器

在线全文

学校读者我要写书评

暂无评论

IB QoS的带宽分配机制研究

计算机科学 2012年第4期39卷 127-130,134页

作者：郑霄陈忠平吴志兵江南计算技术研究所无锡214083

infiniband(简称IB)网络的质量服务策略(简称IB QoS)能有效地分离和控制在IB网络上并发传输的不同应用负载的带宽,从而为基于infiniband网络互连的高性能计算(简称HPC)平台和数据中心平台用户提供网络服务的质量保障。但在IB QoS机制下... 详细信息

infiniband(简称IB)网络的质量服务策略(简称IB QoS)能有效地分离和控制在IB网络上并发传输的不同应用负载的带宽,从而为基于infiniband网络互连的高性能计算(简称HPC)平台和数据中心平台用户提供网络服务的质量保障。但在IB QoS机制下,高优先级权值、低优先级权值和QoS因子3个关键参数究竟如何影响带宽分配,"IBA规范"并没有明确规定,目前也缺少相关的文档说明。首先在基于当前主流IB产品的实验平台上进行大量的IBQoS带宽测试实验,总结出IB QoS带宽分配机制的重要特性:当QoS因子和高优先级权值取值确定时,随着低优先级权值的增长,高优先级VL和低优先级VL的带宽比呈锯齿形增长,锯齿的偏幅逐渐减小,且周期性达到某一定值;接着根据测试数据推测出带宽分配与高优先级权值、低优先级权值和QoS因子等3个关键变量之间的量化关系式,并通过随机抽样检测的方式验证了该关系式的正确性;最后从量化关系式出发,用数学证明的方式为前面总结的带宽分配特性找到了理论依据。

关键词： infiniband网络质量服务虚通道带宽分配优先级权值

在线全文

学校读者我要写书评

暂无评论

面向集群计算系统的网络监控分析与诊断工具

面向集群计算系统的网络监控分析与诊断工具

作者：刘世超山东大学

学位级别：硕士

当今,高性能计算领域的科研进展如火如荼,处理器计算速度突飞猛进,TOP 500超级计算机的角逐也是日新月异。但随着计算能力的与日俱增,超算集群中网络子系统的瓶颈逐渐显露,传统以太网络因性能低下和管理复杂等原因逐渐退出HPC(High Perf... 详细信息

当今,高性能计算领域的科研进展如火如荼,处理器计算速度突飞猛进,TOP 500超级计算机的角逐也是日新月异。但随着计算能力的与日俱增,超算集群中网络子系统的瓶颈逐渐显露,传统以太网络因性能低下和管理复杂等原因逐渐退出HPC(High Performance Computing)的历史舞台,另一方面,以高带宽、低延迟著称的IB(infiniband)网络横空出世,受到了 HPC领域广泛地欢迎与应用。IB网络历20余年发展至今已达到200Gb/s的速度,另一方面,研究者们也逐渐认识到网络监控的重要性,于是UFM和INAM等着眼于IB网络监控诊断的工具接踵而至,然而由于开销和扩展性等各种原因,它们并不适用于大规模计算集群的高频采集情景,所以,本文在综合考虑之下,设计了一套面向集群系统的网络监控分析与诊断工具IBMaster。本文的IB网络监控系统主要包括采集、存储、预处理与分析共四个子系统。1)数据采集:该模块包括五种类型数据的采集,它们分别是:基于本地内存文件的网卡性能采集工具;基于perfquery指令的交换机性能采集工具;基于子网管理器服务接口的拓扑与链路结构采集工具;基于子网管理器及其代理的事件与告警日志采集工具;以及基于子网管理器Dump日志的路由矩阵与转发表采集工具。2)数据存储:本文调研了若干数据存储介质的优劣势,并依据本系统中的存储场景,最终选择了五种介质相结合的复合存储方式。它们分别是:C语言实现的轻量级转发工具Fluent Bit;具有极高读写性能的分布式数据库InfluxDB;用于存储预处理数据的轻量级文件数据库SQLite;作为SQLite冷数据存储的文件I/O(Input/Output);以及基于内存存储的Key-Value数据库Redis。3)数据预处理:由于InfluxDB中存储的源数据体量庞大,分析模块的一些复杂功能若是从源数据开始处理,将会产生不少的开销与延时,不利于向用户实时地展示,因此,本文增加了后台预处理模块,该模块将会不断地摄入源数据,处理后生成更简约的数据格式,并存储到SQLite数据库中,这样复杂一些的分析功能便可直接查询SQLite来提供实时可视化展示。4)数据分析:该模块将会基于采集到的各种数据,对infiniband网络进行实时地分析与诊断,包括一般性的流量与系统负载分析;网络拥塞以及基于拥塞的路由与信誉环路分析;以及网络异常与安全风险等异常检测与诊断。这便是集高频采集、低开销、实时性和可扩展性于一身的网络监控工具IBMaster。

关键词：高性能计算 infiniband网络网络监控

面向高速网络传输的分布式系统读操作优化方法研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向高速网络传输的分布式系统读操作优化方法研究

作者：赵千华中科技大学

学位级别：硕士

在海量数据存储与大数据处理中，普遍采用了基于HDFS (Hadoop DistributedFile System，Hadoop分布式文件系统)架构的集群来存储数据。为支持大数据分析在海量数据上进行实时查询和秒级响应的需求，数据中心内部普遍使用高速网络，但是... 详细信息

在海量数据存储与大数据处理中，普遍采用了基于HDFS (Hadoop DistributedFile System，Hadoop分布式文件系统)架构的集群来存储数据。为支持大数据分析在海量数据上进行实时查询和秒级响应的需求，数据中心内部普遍使用高速网络，但是，现有的基于HDFS架构的分布式文件系统的读性能并不能够随着网络速度的增加而线性增长。现有的分布式文件系统在高速网络环境下，由于受制于磁盘I/O速度，读操作吞吐量性能不高，不能充分利用高速网络资源，为上层应用提供高效的数据服务。针对以上问题，提出一种节约内存的缓存管理机制MSBM（Memory SavingBuffer Manager）。MSBM缓存管理机制在数据服务器端对数据做缓存，保证客户端下一次到数据服务器端读取数据时，需要的数据已经在缓存中。MSBM缓存管理机制在数据服务器端设计了仅预取一个数据块的缓存预取策略，从而在使用缓存提高读性能的同时，尽量节省内存使用率，使缓存管理机制适用于运行在数量庞大而又廉价的分布式集群上。三个缓存管理队列被用以管理数据块在缓存中的置入与置出，并提供读取数据的服务。此外，还有相应的负载决策被提出以使缓存策略达到最优效果，从而使分布式文件系统在高速网络环境下，能够对海量大文件实现高效的缓存管理，充分利用infiniband网络，提升整个分布式文件系统的读数据的性能。通过分别对有无MSBM缓存管理机制，以及在千兆以太网和infiniband网络上进行测试对比，MSBM缓存管理机制对于系统的性能有一定改善，读吞吐量提升比例提高了50%-150%，测试表明MSBM机制可有效的应用于高速网络环境下的分布式文件系统中。

关键词：分布式文件系统 infiniband网络缓存预取吞吐量

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于云计算的数据库云方案的研究与设计

数据通信 2012年第3期 45-48页

作者：廖峰成静静中国移动通信集团广东有限公司广东省电信规划设计院有限公司广州510630

通过介绍云计算的服务模式,分析比较了PaaS云的业务价值以及传统数据库平台架构存在的问题,提出了基于云计算的数据库云平台的建设方案,进行了详尽地研究与设计,包括数据库云的整体架构、数据库资源池、存储资源池、多租户资源管理方案... 详细信息

通过介绍云计算的服务模式,分析比较了PaaS云的业务价值以及传统数据库平台架构存在的问题,提出了基于云计算的数据库云平台的建设方案,进行了详尽地研究与设计,包括数据库云的整体架构、数据库资源池、存储资源池、多租户资源管理方案、数据库云高可靠全双工设计方案等,并分析了数据库云相对传统架构的竞争优势。

关键词：云计算数据库云 infiniband网络多租户 ASM 高可靠全双工

地震数据处理业务对高性能计算机需求分析及配置技术研究

在线全文

学校读者我要写书评

暂无评论

信息系统工程 2019年第6期32卷 156-157,159页

作者：张红杰马迅飞李华松张俊向光阳中国石油东方地球物理公司研究院计服中心

随着勘探技术的发展,野外采集的数据量越来越大,单块资料从以前的几百GB、几个TB发展到10多TB、几十TB甚至上百TB,地震数据处理对计算机性能和存储容量要求也越来越高。论文通过对高性能计算机的现状及发展趋势进行分析、研究,提出了地... 详细信息

随着勘探技术的发展,野外采集的数据量越来越大,单块资料从以前的几百GB、几个TB发展到10多TB、几十TB甚至上百TB,地震数据处理对计算机性能和存储容量要求也越来越高。论文通过对高性能计算机的现状及发展趋势进行分析、研究,提出了地震数据处理对高性能计算业务的需求,为数据中心建设和地震数据处理业务科学配置计算机资源提供参考依据。

关键词： GPU NAS 并行集群存储 infiniband网络数据安全