检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

通用高速存储系统的设计与实现

通用高速存储系统的设计与实现

作者：程垚西安电子科技大学

学位级别：硕士

随着信息时代的发展,信息数据量增长迅速,如何将海量的数据安全存储是当今科技发展需要解决的重要问题,存储技术的发展已成为关键的研究热点。存储设备广泛应用于通信、军事、航空航天等领域,针对雷达系统对高速实时数据的存储需求,本... 详细信息

随着信息时代的发展,信息数据量增长迅速,如何将海量的数据安全存储是当今科技发展需要解决的重要问题,存储技术的发展已成为关键的研究热点。存储设备广泛应用于通信、军事、航空航天等领域,针对雷达系统对高速实时数据的存储需求,本文设计的通用高速存储系统,满足存储速度高、存储容量大的性能要求。本文首先对高速存储系统技术的发展现状和趋势进行了研究,分析雷达系统中对存储设备的需求和指标,提出了采用多片Micron公司的MLC型NAND FLASH作为存储介质,应用基于Xilinx公司的Virtex6系列FPGA实现核心控制的高速高密度存储板卡设计,存储容量可达3TB,存储速度不低于1.5GBps。外部接口采用PCIe、GTX、Rocket IO等接口实现控制命令的收发和数据的高速传输,同时设计FMC接口满足存储板的通用性设计。其次,通过FPGA逻辑控制实现NAND FLASH阵列设计,采用多片NAND FLASH并行和流水操作,提高存储系统的带宽;实现了存储系统整体架构内的数据和控制设计,对NAND FLASH采用双plane模式执行擦除、编程、读取操作;同时制定有效的检错纠错机制,在逻辑中添加BCH编解码模块,有效解决数据误码问题;针对坏块管理进行深入的研究分析,制定有效的坏块管理方案,保证存储数据的可靠性。再次,为了快速、有效的管理存储系统中的大量数据,在基于上位机控制时,本文设计建立文件系统管理,数据以文件信息的格式保存在上位机中,按文件为单位操作;通过上位机软件控制,实现对存储板命令的发送以及控制信号的接收,在功能上实现自检、导入、导出、记录、回放、删除等功能。针对存储板在雷达系统运行时无上位机控制,采用以太网口实现存储板的控制,NAND FLASH阵列采用循环的方式执行“删除—记录—删除”操作。最后,本文基于实验室某雷达系统信号处理项目,介绍了通用高速存储系统的硬件构成和FPGA程序的逻辑设计。经过大量的测试,存储板各方面满足设计指标,实现了存储速度高、容量大、数据可靠性高的性能要求。根据实际项目需要,完成外场雷达原始数据的采集存储,搭建回放系统实现原始数据的信号处理并完成终端显示,为算法优化提供支持,验证了通用高速存储系统在雷达系统中应用的可行性。

关键词：存储系统 NAND FLASH阵列 FPGA 文件系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向存储系统的光片上网络设计

面向存储系统的光片上网络设计

作者：王康西安电子科技大学

学位级别：硕士

多核芯片的出现和设计使得在2020年高性能计算实现E级浮点计算能力成为可能。随着处理器核数目的增加,对于高带宽,低延时存储访问网络设计的需求越来越明显。当处理器核与存储系统通信中数据传输速率提升时,电互连方式面临巨大的传输能... 详细信息

多核芯片的出现和设计使得在2020年高性能计算实现E级浮点计算能力成为可能。随着处理器核数目的增加,对于高带宽,低延时存储访问网络设计的需求越来越明显。当处理器核与存储系统通信中数据传输速率提升时,电互连方式面临巨大的传输能耗和布线困难。此外,存储访问带宽在现有电互连方式下提升有限,多核芯片中处理器核对数据的存取将产生巨大的延时。因此,电互连结构下访问存储系统的能耗、互连面积、带宽和延时正在成为制约系统整体性能提升瓶颈,高性能计算系统面临“内存墙”问题。使用三维集成技术处理器核、存储系统和光片上网络将集成于同一芯片中。本文的研究重点在于利用多层硅沉积技术,设计一种面向存储系统的光片上网络,提高片上处理器核访问存储系统的并行性。首先,我们分析了IP核与存储系统之间通信流量的特性,针对该流量特性设计了一种适用于IP核与存储系统通信的可扩展拓扑结构。为实现对存储系统的并行访问,存储系统以最小并行访问单位“栈”(rank)进行划分。拓扑结构中使用一组环形波导连接所有IP核和栈。IP核与不同栈的通信通过不同环形波导进行区分,且在同一环形波导中来自不同IP核的存储访问请求通过不同波长进行区分。通过对网络中波长资源和微环的精确配置,实现了IP核与栈之间并行无阻塞通信。其次,我们对IP核与网络间通信接口、栈与网络间通信通信接口进行了研究。在栈的网络接口中配置缓存计数模块,用于监控存储访问请求处理情况。当缓存计数超过预定阈值时,栈接口将通过光片上网络向IP核进行广播,由此控制存储访问流量,避免存储访问请求丢失。IP核接口和栈接口中还配置了流水线模式的分布式存储访问控制器,用于实现并行化存储访问地址解析,缩短存储访问请求处理延时。最后,我们使用DRAMSim仿真器对所提出的光片上网络与传统电总线结构进行仿真对比。仿真中采用PARSEC测试标准中提取的存储访问流量。仿真结果表明使用所提出的光片上网络连接4栈存储系统时,平均存储访问带宽提升1.9倍,仿真时间内执行的存储访问请求数目平均增长1.95倍,平均存储访问延时下降53.2%;连接8栈存储系统时,平均存储访问带宽提升2.63倍,仿真时间内执行的存储访问请求数目平均增长2.52倍,平均存储访问延时下降89.8%。能耗分析结果表明本文所设计光网络中单位比特数据的传输能耗明显低于传统电总线互连方式能耗。在解决未来高性能计算中所面临的存储访问瓶颈问题时,本文的设计具有很好的应用前景。

关键词：片上网络存储系统光互连网络拓扑网络接口

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种集群多媒体存储系统的研究与设计

计算机研究与发展 2006年第8期43卷 1311-1316页

作者：万继光谢长生华中科技大学信息存储系统教育部重点实验室武汉430074

随着网络上多媒体数据的爆炸性增长和集群技术的快速发展,设计并实现了一个基于PC集群的高性能集群多媒体存储系统(clustermultimediastoragesystem,CMSS)·CMSS系统采用高自治、自维护的集群策略,提高了系统的并行性和可扩展性;采用逻... 详细信息

随着网络上多媒体数据的爆炸性增长和集群技术的快速发展,设计并实现了一个基于PC集群的高性能集群多媒体存储系统(clustermultimediastoragesystem,CMSS)·CMSS系统采用高自治、自维护的集群策略,提高了系统的并行性和可扩展性;采用逻辑元数据管理技术,即实现了单一名字空间,又避免了单点失效;采用服务器数据备份技术,即提高了系统的数据安全性,也解决了服务器之间的负载平衡·在详细介绍了CMSS系统设计方案的同时,进行了相应的实验测试和性能分析·

关键词：多媒体集群存储系统元数据服务器

在线全文

学校读者我要写书评

暂无评论

基于数据属性的大数据存储系统研究与实现

基于数据属性的大数据存储系统研究与实现

作者：朱伟健华南理工大学

学位级别：硕士

计算机和互联网技术的不断发展导致了大数据量的急剧增长,大数据不仅仅是体现在数据量规模的增加,同时也体现在数据种类的增加。目前使用传统的关系型数据库和文件目录树的方式来管理数据规模巨大并且数据格式繁多的大数据存在很多问题... 详细信息

计算机和互联网技术的不断发展导致了大数据量的急剧增长,大数据不仅仅是体现在数据量规模的增加,同时也体现在数据种类的增加。目前使用传统的关系型数据库和文件目录树的方式来管理数据规模巨大并且数据格式繁多的大数据存在很多问题。因此,研究新的大数据存储与管理方法已经成为当前大数据技术领域中的重要研究课题。基于此,本文对当前大数据的存储技术进行了较深入的分析和研究,提出了一种基于数据属性向量的统一数据存储模型;并且以Fast DFS和HDFS文件系统和Mongo DB数据库作为底层数据支持实现了一个大数据存储系统原型。本文的主要工作可以归纳为以下几个方面:1、研究了大数据的研究现状和大数据存储所面临的问题,分析了大数据存储的需求,提出了一种基于属性向量的统一数据模型（Attribute Vector-based Unified Data Model,AVUDM）。2、研究了现有的主流分布式文件系统和分布式NOSQL数据库,横向对比了各个分布式文件系统和NOSQL数据库的读写性能、容错、可用性等特征和适用范围。3、采用本文提出的AVUDM模型,并以Fast DFS和HDFS文件系统、Mongo DB数据库作为底层数据支持实现了一个大数据存储系统原型。在该系统中,数据文件的属性向量存储在Mongo DB的集合中,数据文件本身根据文件大小的不同存储到Mongo DB的BLOB块、Fast DFS或HDFS中。4、进一步对本文设计的大数据存储系统原型的多处进行了性能优化和改进,包括向系统中添加文件级重复数据删除、改进Mongo DB分片负载均衡算法和在系统中多处进行并行化优化。最后,本文通过部署实验环境,测试了大数据存储系统原型的数据文件入库性能、文件检索性能和并行属性提取和串行属性提取入库到Fast DFS的各项性能对比;测试结果均证明了本文设计实现的存储系统原型能够有效地对大数据进行存储和管理。

关键词：大数据属性向量 AVUDM模型存储系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

海量数据离线存储系统研究

中国档案 2016年第2期 62-63页

作者：杜琳琳国家档案局科研所

近年来,随着档案信息化的发展,我国各级各类档案馆所保存的数字档案信息急剧增加,且呈持续快速增长趋势。海量档案信息的安全管理问题已成为各级档案部门面临的重要问题。随着国家电子政务的进一步推进,该问题将愈加突出。为此,各档案... 详细信息

近年来,随着档案信息化的发展,我国各级各类档案馆所保存的数字档案信息急剧增加,且呈持续快速增长趋势。海量档案信息的安全管理问题已成为各级档案部门面临的重要问题。随着国家电子政务的进一步推进,该问题将愈加突出。为此,各档案馆综合利用在线存储、近线存储、离线存储等不同方式,对档案信息进行存储和备份。许多档案馆在制定本单位的存储策略时。

关键词：档案信息存储系统硬盘存储国家电子政务近线存储软件系统存储策略安全管理问题和离档案行业

混合类型多媒体负载访问存储系统的统计学访问控制算法

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2006年第3期43卷 563-570页

作者：李中王刚刘璟南开大学信息技术科学学院天津300071

混合类型多媒体负载访问存储系统是一个复杂的过程,不同类型的多媒体应用要求存储系统提供不同的服务质量保证.存储系统需要一个有效的访问控制算法,为尽可能多的多媒体应用提供保证服务质量的服务.对混合类型多媒体负载访问存储系统的... 详细信息

混合类型多媒体负载访问存储系统是一个复杂的过程,不同类型的多媒体应用要求存储系统提供不同的服务质量保证.存储系统需要一个有效的访问控制算法,为尽可能多的多媒体应用提供保证服务质量的服务.对混合类型多媒体负载访问存储系统的访问控制问题进行了系统的研究定义多媒体应用访问存储系统的服务质量参数;建立并发多媒体应用的汇聚负载模型;推导出混合类型多媒体负载的访问控制约束条件;实现相应的统计学访问控制算法.仿真实验的结果表明,新的存储系统访问控制算法是有效的,并具有相当高的精确度.

关键词：存储系统混合类型多媒体负载服务质量访问控制

在线全文

学校读者我要写书评

暂无评论

分布式存储系统最小带宽再生码研究

小型微型计算机系统 2012年第8期33卷 1710-1714页

作者：王禹赵跃龙侯昉广东技术师范学院教育技术系广州510665 华南理工大学计算机科学与工程学院广州510640 广东金融学院计算机系广州510520

分布式存储系统常常使用纠删码冗余技术提高系统可靠性.为保证一定的冗余度,系统必须具有自修复能力再生失效数据.再生码是纠删码的一种改进形式,最大特点在于无需下载整个数据文件就能恢复单个节点数据,从而有效减少数据修复时的网络带... 详细信息

分布式存储系统常常使用纠删码冗余技术提高系统可靠性.为保证一定的冗余度,系统必须具有自修复能力再生失效数据.再生码是纠删码的一种改进形式,最大特点在于无需下载整个数据文件就能恢复单个节点数据,从而有效减少数据修复时的网络带宽.相关文献证明再生码数据修复时存在极值点—最小带宽再生点(MBR),由此提出最小带宽再生码MBRC.文中从数据分布、失效数据修复和数据重构三个方面描述了实现的原理,并通过构建数据矩阵和修复矩阵实现MBRC再生码.利用实例详细给出了再生码的实现过程,并理论证明正确性,最后仿真实验验证了MBRC的有效性.

关键词：分布式存储系统再生码数据修复

在线全文

学校读者我要写书评

暂无评论

基于虚拟磁盘的分布式存储系统的设计与实现

基于虚拟磁盘的分布式存储系统的设计与实现

作者：郭贞宏电子科技大学

学位级别：硕士

随着全球网络化的热潮,网络技术针对个人应用的也是水涨船高。传统的存储解决方案已经不能应对海量数据和众多互联网应用的挑战。大规模分布式存储系统具有高可扩展性、高可用性等优点,已成为存储领域的研究和发展方向,在各大互联网公... 详细信息

随着全球网络化的热潮,网络技术针对个人应用的也是水涨船高。传统的存储解决方案已经不能应对海量数据和众多互联网应用的挑战。大规模分布式存储系统具有高可扩展性、高可用性等优点,已成为存储领域的研究和发展方向,在各大互联网公司和企业数据中心都有着广泛的应用。本文提出的基于虚拟磁盘的分布式存储系统是结合当前蓬勃发展的分布式存储技术,针对海量数据以及客户端特定的内核态数据的存储方式,设计并实现的新型分布式存储系统。本文提出的分布式存储架构,不仅具备完善的控制调度机制、基于hash算法的定位和扩展策略以及安全可靠的认证服务,还为海量数据片的存储专门设计了基于Log-Structure的日志式数据存储系统,该文件系统依托于三级存储介质即内存、ssd和磁盘,能充分利用磁盘IO带宽,提高读写效率。基于Log-Structure日志结构的数据存储系统（Log-Structure Storage System,L3S）部署在分布式存储集群的每台存储节点上。该数据存储模型借鉴于LogFS,用户数据被分割成固定大小的数据分片,这些分片以Append的方式组织在Log-Structure结构中并在该结构填满后一次性写入到磁盘。这种批量写入的策略能充分利用磁盘传输带宽,减少磁盘碎片。随着数据的改变,数据分片的元数据也在不断更新。当磁盘的可用存储空间不足时,系统按照一定策略对无效数据进行回收。同时,该数据存储系统把所有元数据和部分数据缓存放到SSD中,并在内存中建立日志式数据结构,作为持久化介质和网络缓存的中间层。本文最后对系统进行了基本功能测试和性能压力测试,证明本系统可以良好的运行,并能高效的完成数据服务。

关键词：分布式存储系统 Log-Structure 日志式数据存储系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种高效高速采集存储系统设计

电讯技术 2013年第6期53卷 763-767页

作者：许烈华中国西南电子技术研究所成都610036

针对宽带接收和小型化的应用,设计并实现了一种新的高效、高速采集存储系统。采用了大带宽大动态采样技术,提出了有损、无损、智能采样数据压缩技术和多维数据管理技术。工程试验结果表明,该系统能有效解决采集存储系统中的高速率采样... 详细信息

针对宽带接收和小型化的应用,设计并实现了一种新的高效、高速采集存储系统。采用了大带宽大动态采样技术,提出了有损、无损、智能采样数据压缩技术和多维数据管理技术。工程试验结果表明,该系统能有效解决采集存储系统中的高速率采样、高效率存储和高效数据管理等问题,具有一定的参考价值。

关键词：宽带接收机高速采样高效压缩存储系统数据检索