检索结果-南通市图书馆

基于Erasure Code的分布式文件存储系统

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

计算机工程 2010年第17期36卷 45-47页

作者：潘利伟谷建华朱靖飞周志超西北工业大学计算机学院西安710072

在局域网环境下,实现一种基于Erasure Code的分布式文件存储系统。该系统由元数据服务器和多个文件存储节点组成,通过对元数据与文件数据分离存储以提高文件访问效率,将Erasure Code有效冗余存储技术应用于文件编解码以增强可靠性,采用... 详细信息

在局域网环境下,实现一种基于Erasure Code的分布式文件存储系统。该系统由元数据服务器和多个文件存储节点组成,通过对元数据与文件数据分离存储以提高文件访问效率,将Erasure Code有效冗余存储技术应用于文件编解码以增强可靠性,采用MD5消息摘要技术保证文件完整性。对30 MB^600 MB大小的文件测试结果表明,该系统具有更高的可靠性、安全性以及资源利用率。

关键词：分布式文件存储 Erasure Code技术编解码高可靠

分布式文件存储在跨局址数据备份和数据迁移中的设计与应用

在线全文

学校读者我要写书评

暂无评论

数字通信世界 2018年第5期 267-268页

作者：王伟华信咨询设计研究院有限公司

在IT支撑系统扩容升级过程中,业务系统的发展受限于机房空间,实施跨局址数据迁移是一个非常现实的问题。本文结合通信运营商在数据备份和系统平台X86化改造的情况,通过对分布式文件存储和数据备份技术的研究,提供一种基于分布式文件存... 详细信息

在IT支撑系统扩容升级过程中,业务系统的发展受限于机房空间,实施跨局址数据迁移是一个非常现实的问题。本文结合通信运营商在数据备份和系统平台X86化改造的情况,通过对分布式文件存储和数据备份技术的研究,提供一种基于分布式文件存储的数据备份方案实现跨局址数据迁移的方法。应用效果表明,基于分布式文件存储的Oracle数据库备份和迁移方案,可大幅提升数据备份效率,有效降低系统建设成本,缩短数据迁移周期。

关键词：分布式文件存储数据备份数据迁移

基于Hadoop的分布式文件存储服务平台设计与实现

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

基于Hadoop的分布式文件存储服务平台设计与实现

作者：啜俊娜浙江大学

学位级别：硕士

随着互联网应用的飞速发展,互联网上的信息和数据量呈现爆炸性增长,如何高效、安全地组织和存储这些大规模的数据,并最大程度地降低应用成本,引发了国内外越来越多的学术界和企业界的关注。当前,无论在广义的互联网环境中,还是在中等规... 详细信息

随着互联网应用的飞速发展,互联网上的信息和数据量呈现爆炸性增长,如何高效、安全地组织和存储这些大规模的数据,并最大程度地降低应用成本,引发了国内外越来越多的学术界和企业界的关注。当前,无论在广义的互联网环境中,还是在中等规模企业的内部网中,抑或在小规模的局域网中,都存在着大量高性能且廉价的闲散存储资源。充分利用这些闲散、廉价的存储资源,构建可信、优质的大规模存储池,是解决上述问题的有效手段。分布式文件系统为有效利用分散存储资源提供了一条途径。然而,传统意义上的分布式文件存储系统,如Hadoop页目中的HDFS,是运行在结点性能相似、网络环境高度稳定的集群系统中的。因此,如果直接将传统的分布式文件系统部署在网络环境动态变化、存储结点自由进出的网络中,则存在空间利用率低、网络动态适应性差、存储结点信誉度低等问题。本文以Hadoop开源系统为基础,研究适用于广域网络的广义分布式文件存储服务模型,设计并实现了一个基于高效冗余备份策略及服务品质感知的分布式文件存储服务平台——QDFS。研究工：作取得如下成果： (1)将分布式文件存储系统建立在动态网络环境中,充分利用了网络环境中的廉价计算资源,降低了存储服务系统的总体拥有成本;(2)提出了一种基于恢复卷的冗余备份机制,大大减少了文件冗余信息的存储空间,并日降低了文件的维护成本;(3)建立了基于层次化名称结点的树状存储系统模型,解决了不同集群间不可共用一套分布式系统的瓶颈问题;(4)设计了一个文件存取客户端软件,解决了Hadoop客户端在Windows环境中的运行问题。

关键词：分布式文件存储 Hadoop 冗余备份品质感知云存储

基于分布式文件存储的个人信息融合系统的研究与实践

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于分布式文件存储的个人信息融合系统的研究与实践

作者：何娟北京邮电大学

学位级别：硕士

随着信息化进程的推进,多个企业间及企业内部各信息系统进行数据交换、整合的需求愈加强烈。但由于信息系统开发的阶段性,许多企业内部的数据库应用系统都是分布、独立、异构的系统,在各自的局域网内形成信息孤岛,无法实现数据共享。这... 详细信息

随着信息化进程的推进,多个企业间及企业内部各信息系统进行数据交换、整合的需求愈加强烈。但由于信息系统开发的阶段性,许多企业内部的数据库应用系统都是分布、独立、异构的系统,在各自的局域网内形成信息孤岛,无法实现数据共享。这就使得数据集成成为数据库应用领域的一个重要研究课题。于此同时,数字信息量激增,海量数据的产生需要与之相匹配的高效计算能力来处理数据,这使得传统的单机数据集成模式不堪重负。云计算作为一个新型的面向服务的计算模式,很好的适应了数据集成的需求。本文研究了在云计算环境下,以高效的数据存储管理以及高性能的数据处理为出发点,基于分布式文件存储构建多源异构数据的企业级数据集成应用系统的问题。在高效数据存储管理方面,提出了一种基于容器的分布式文件存储系统。给出了基于容器的存储模型,定义了模型中文件、容器、存储节点、主节点等基本概念,并描述了集群体系架构;介绍了元数据维护方案、文件标识及文件的访问算法。在高性能数据处理方面,面对数据集成过程中数据清洗所要求的计算规模与单机的运算能力间存在的巨大差距,针对大数据量小文件的现状,在上述基于容器的分布式文件存储系统的数据管理模式的基础上,研究并设计了小文件运用Map/Reduce并行计算模型的解决方案,将运算分布在集群环境中。最后,依据上述两点研究设计了多源异构的个人信息数据集成,完成了个人信息融合系统构建,并详细介绍了各模块的功能和工作原理,结合项目真实数据进行了验证。

关键词：分布式文件存储数据集成并行计算 Map/Reduce

基于海量数据优化管理的分布式文件存储系统应用研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

科技创新与应用 2020年第18期10卷 181-182页

作者：高尚建魏国杨功中海油能源发展装备技术有限公司设计研发中心天津300452

大数据时代数据成为了企业非常有价值的资源,对实时产生的海量大数据进行价值最大化挖掘成为了企业当前非常重要的一项工作和追求目标。而针对如此海量的数据,首先要解决的一个问题就是采取何种方式进行存储。基于此,文章结合当前大数... 详细信息

大数据时代数据成为了企业非常有价值的资源,对实时产生的海量大数据进行价值最大化挖掘成为了企业当前非常重要的一项工作和追求目标。而针对如此海量的数据,首先要解决的一个问题就是采取何种方式进行存储。基于此,文章结合当前大数据时代企业经营数据信息的实际,就如何管理好这些海量大数据进行了分布式文件存储系统的应用研究,以期通过充分发挥分布式文件存储系统的优势实现对海量数据资源处理的水平和能力,让企业数据资源发挥了最有效的价值。

关键词：海量数据分布式文件存储优化管理

一种基于随机线性网络编码的分布式文件存储系统研究

在线全文

学校读者我要写书评

暂无评论

科技信息 2010年第3期 47-48页

作者：张驰乔亚琼兰州交通大学光电技术与智能控制教育部重点实验室甘肃兰州730070

本文结合线性有限域运算和图论等相关理论阐述了线性网络编码的基本原理,优势与劣势。同时介绍了线性网络编码技术应用于分布式文件系统中在数据分布存储,数据编码,解码等数据处理方面的关键技术.最后依据理论分析评价了该型文件系统的... 详细信息

本文结合线性有限域运算和图论等相关理论阐述了线性网络编码的基本原理,优势与劣势。同时介绍了线性网络编码技术应用于分布式文件系统中在数据分布存储,数据编码,解码等数据处理方面的关键技术.最后依据理论分析评价了该型文件系统的性能特点,并指出未来该型文件系统的应用前景。

关键词：分布式文件存储对等网络线性编码多播随机线性网络编码

基于随机线性网络编码的分布式文件存储系统分析

在线全文

学校读者我要写书评

暂无评论

甘肃科技纵横 2009年第4期38卷 34-36,152页

作者：刘萍中国联合网络通信集团有限公司兰州分公司

本文结合线性有限域运算和图论等相关理论阐述了线性网络编码的基本原理,优势与劣势.同时介绍了线性网络编码技术应用于分布式文件系统中在数据分布存储,数据编码,解码等数据处理方面的关键技术.最后依据理论分析评价了该型文件系统的... 详细信息

本文结合线性有限域运算和图论等相关理论阐述了线性网络编码的基本原理,优势与劣势.同时介绍了线性网络编码技术应用于分布式文件系统中在数据分布存储,数据编码,解码等数据处理方面的关键技术.最后依据理论分析评价了该型文件系统的优越性能,并指出未来该型文件系统的应用前景。

关键词：分布式文件存储对等网络线性编码多播随机线性网络编码

基于Go-FastDFS的分布式工业海量小文件存储系统的设计与实现

在线全文

学校读者我要写书评

暂无评论

基于Go-FastDFS的分布式工业海量小文件存储系统的设计与实现

作者：张紫越西安电子科技大学

学位级别：硕士

由于工业互联网的迅速发展,在现代生产环境中,产生了大量的多元异构数据。这些数据随着工业生产线持续不断的写入和访问,尤其是工业智能场景下的大量AI数据。这些数据往往呈现以下几个特点:(1)文件的大小都在10M以内,有的甚至只有数百KB... 详细信息

由于工业互联网的迅速发展,在现代生产环境中,产生了大量的多元异构数据。这些数据随着工业生产线持续不断的写入和访问,尤其是工业智能场景下的大量AI数据。这些数据往往呈现以下几个特点:(1)文件的大小都在10M以内,有的甚至只有数百KB;(2)这些文件大部分情况只会写入一次,然后进行频繁的读取,几乎很少涉及到文件的删除和修改;(3)文件的读取往往呈现语义密集的特定;(4)文件的数量通常能达到数亿级别。这些海量的小文件非常耗费CPU和硬盘的资源,对于CPU而言,它需要同时处理多个用户的读写线程,这会导致CPU负载过高,使其运行速度变慢;对于硬盘而言,磁头需要不断的换道寻址,增加了文件的访问时间。同时海量小文件带来的海量元数据也难以维护和管理。当前的分布式文件系统中大部分都是针对一些大文件来设计的,这些分布式文件系统都不适合处理海量小文件。Go-FastDFS是一个采用http协议的分布式文件存储系统,具有高性能、免维护、高可靠等优点。本文以Go-FastDFS分布式文件存储系统作为底层存储系统,针对工业海量小文件存储提出了一些优化,主要包括:(1)针对原有的Go-FastDFS中数据分配策略存在的不足,并分析对比现有的数据分布算法,提出了一种优化的数据分布算法DQN-CRUSH。该数据分布算法在CRUSH数据分布算法的基础之上,结合深度强化学习进行优化,解决了原有CRUSH数据分布算法数据分布不均衡的问题,并通过实验验证DQN-CRUSH算法相比于CRUSH算法在数据分布上更加均衡,且文件读取过程中,集群吞吐量有17%的提升;(2)针对Go-FastDFS中小文件的合并过程没有考虑文件的语义信息以及合并之后没有保存索引信息的问题,提出了一种基于语义的文件合并优化方法。该方法首先根据文件的所属用户以及文件类型来划分目录结构,将相同语义的文件保存到同一目录下,然后对同一目录下的文件进行合并,并将小文件在合并文件中的偏移信息等元数据保存到索引文件中。其中小文件索引信息对应的索引文件以及在索引文件中的位置分别通过可扩展哈希函数(EHF)以及单调最小完美哈希函数(MMPHF)计算得出。本文提出的文件合并优化方法能够提高文件访问时磁盘顺序读取的概率,从而加快访问速度;实验表明,优化之后的文件合并方法在语义密集的读取场景下,响应时间有25%的提升;(3)结合前面提到的两个优化方法,设计并实现基于Go-FastDFS的分布式工业海量小文件存储系统,并分别针对前面提到的两个优化方法进行功能和性能测试。

关键词： Go-FastDFS 分布式文件存储文件合并 CRUSH 深度强化学习

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向不动产登记的异构信息资源整合策略

浙江大学学报（理学版） 2015年第1期42卷 70-76页

作者：郑少楠杜震洪曾志张丰刘仁义浙江大学地理信息科学研究所浙江杭州310028 浙江省资源与环境信息系统重点实验室浙江杭州310028 惠州学院计算机科学系广东惠州516007

为满足不动产统一登记信息化建设的需求,解决目前我国不动产登记中"多头登记"的问题,在分析不动产登记业务架构的基础上,提出了面向不动产登记的异构信息资源整合策略.该策略结合了基于语义的异构数据集成技术,统一接口的地图服务整合技... 详细信息

为满足不动产统一登记信息化建设的需求,解决目前我国不动产登记中"多头登记"的问题,在分析不动产登记业务架构的基础上,提出了面向不动产登记的异构信息资源整合策略.该策略结合了基于语义的异构数据集成技术,统一接口的地图服务整合技术,以及关系型数据库与文件索引的分布式文件存储技术,将分布在各个应用系统中的业务数据、地图数据以及文件资料等信息资源进行集成管理.该策略已应用于国土资源部门不动产统一登记平台的建设中,系统功能稳定,运行良好,证明了该方法的可行性与有效性,也为不动产信息资源的整合与共享,进而达到不动产信息服务社会化的目标提供了新的思路.

关键词：不动产登记信息资源异构数据集成地图服务集成分布式文件存储