检索结果-南通市图书馆

检索条件"主题词=SDFS"

共 2 条记录，以下是1-10 订阅

全选清除本页清除全部题录导出标记到"检索档案"

详细简洁

排序：

sdfs分布式文件系统的研究与设计

SDFS分布式文件系统的研究与设计

引用

作者：罗雄威华南理工大学

学位级别：硕士

随着信息技术的广泛应用，各种数据信息呈爆炸性的增长趋势。如何将数据信息进行有效地存储和管理已经变得越来越重要。同时它也对计算机存储系统在存储容量和存储访问速度等方面提出了越来越高的性能要求。传统的存储系统很难适应这种... 详细信息

随着信息技术的广泛应用，各种数据信息呈爆炸性的增长趋势。如何将数据信息进行有效地存储和管理已经变得越来越重要。同时它也对计算机存储系统在存储容量和存储访问速度等方面提出了越来越高的性能要求。传统的存储系统很难适应这种新的技术需求，而分布式存储系统技术则能比较好地解决这个问题，所以目前基于集群的分布式存储系统在计算机存储技术领域内已经成为主流存储平台。分布式文件系统是分布式存储系统中的关键技术，所以研究和设计能够进行高效存储的分布式文件系统具有重要的现实意义。本文对分布式文件系统中的数据布局算法、数据分片算法和存储节点设计进行了较深入的研究，论文作者所做主要研究工作和取得研究成果如下： 1、在认真分析和研究了现有分布式文件系统结构的基础上，提出了一种sdfs（SimpleDistributedFileSystem）分布式文件系统的原型结构。 2、研究了现有分布式文件系统的数据布局算法、数据分片算法和存储节点的布局方法，给出了sdfs分布式文件系统中的数据布局方法和数据分片算法，提出了sdfs分布式文件系统中元数据服务器的设计方法。 3、针对现有的分布式文件系统通常很难做到同时高效存储大小文件的问题，本文提出了一种新的二元存储节点布局方法。该布局方法的主要思想是在sdfs分布式文件系统中将存储节点划分为基于桶文件和key-value的两种类型。基于桶文件的存储节点存储大文件可以提供较高的文件访问吞吐量，而基于key-value的存储节点结构则能够比较好地处理小文件的存储访问，提供较低访问时延。本文对sdfs分布式文件系统进行了功能测试。并与PVFS1.6以及PVFS2.8并行文件系统进行了相关性能对比。实验证明sdfs分布式文件系统达到了设计要求，在大小文件的读写方面有较好的性能优势。

关键词：分布式文件系统 sdfs 数据布局数据分片大小文件存储节点

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

地震数据存储系统研究

地震数据存储系统研究

引用

作者：潘昌森中国科学技术大学

学位级别：硕士

近年来,得益于人类社会对石油的需求,石油勘探技术也在飞速发展。地震勘探是进行石油勘探的主要的方法,随着地震勘探技术在地震数据采集、资料处理和资料解释方面不断创新,地震勘探所产生的数据也在海量增长。目前,人们针对这些海量的... 详细信息

近年来,得益于人类社会对石油的需求,石油勘探技术也在飞速发展。地震勘探是进行石油勘探的主要的方法,随着地震勘探技术在地震数据采集、资料处理和资料解释方面不断创新,地震勘探所产生的数据也在海量增长。目前,人们针对这些海量的数据计算发展了高性能计算,使得地震数据处理速度越来越快,但是地震数据处理过程中数据读取的I0瓶颈严重阻碍了数据的处理速度。因此,如何提高地震数据的读取速度成了一个亟待解决的问题。目前针对地震数据10瓶颈的问题,做法多是采用分布式文件系统作为存储系统。每种分布式文件系统的存储特点是不一样的,如HDFS适合大文件的存储,并且对大文件读取进行了优化,又如Fast DFS适合小文件的存储。而地震数据的读取特点是块小量大,即读取的粒度小但读取量大。目前的分布式系统并没有与地震数据读取特点相吻合的读取模式,因而地震数据读取的10瓶颈问题仍存在。本文通过研究地震数据处理的主要数据格式SEGY的格式特点以及一般地震数据的处理流程,分析出目前地震数据处理遇到10瓶颈的原因,实现了一种基于Fast DFS的地震数据存储系统即sdfs(Seismic Data File System)系统。该系统实现了解决地震数据读取10瓶颈的方案。该方案为:首先,通过将地震数据文件以道为单位的分块存储,提高了数据的读取效率;其次,通过将文件宏块再分块,并使用并行磁盘读取技术来提高了地震数据的读取速度;最后还提出了针对系统数据储可靠性的研究,即通过完整备份的方式增加系统可靠性。为了证明该方案的有效性,本文实现了 sdfs系统并对系统的主要功能进行了设计,然后进行了两组地震数据读取的实验。实验一测试了并行磁盘读取技术的有效性,实验结果显示,当每个节点硬盘数据量增加时系统的读取性能增加,速度几乎与磁盘数量成正比;当数据块大小增加时,对顺序读有利而减小则对随机读有利。实验二则用对比实验的方式进行了系统的读取性能测试,对比的系统为Fast DFS,测试结果为sdfs系统的顺序读和随机读性能都要明显优于Fast DFS。综合两次实验结果可知,本文提出的sdfs系统能够帮助改善地震数据读取的10性能。

关键词： sdfs 地震数据分布式数据分块 Fast DFS

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

全选清除本页清除全部题录导出标记到“检索档案”

共1页 << < 1 > >>

回到顶部

执行限定条件

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：