检索结果-南通市图书馆

非结构化数据存储中面向访问任务的小文件合并策略

维普期刊数据库博看期刊

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

通讯世界 2016年第12期 295-296页

作者：宋立华闫丽飞林晖福建亿榕信息技术有限公司

分析了非结构化数据储存方式下云存储层次结构,探讨了面向访问任务的小文件存储问题,提出了小文件合并的策略。

关键词：非结构化数据储存云存储访问任务小文件合并

非结构化数据存储中面向访问任务的小文件合并策略

同方期刊数据库评论

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

通讯世界（下半月） 2016年第6期 295-296页

作者：宋立华闫丽飞林晖福建亿榕信息技术有限公司福建福州350003

分析了非结构化数据储存方式下云存储层次结构,探讨了面向访问任务的小文件存储问题,提出了小文件合并的策略。

关键词：非结构化数据储存云存储访问任务小文件合并

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

海量教育资源中小文件的存储研究

计算机科学 2015年第10期42卷 76-80页

作者：游小容曹晟电子科技大学计算机科学与工程学院成都611731

Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成... 详细信息

Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率。实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率。

关键词：海量小文件小文件合并预取缓存

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于Hadoop的小文件存取优化策略研究

基于Hadoop的小文件存取优化策略研究

作者：陈都中南大学

学位级别：硕士

Hadoop分布式存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,能够有效提高集群的可靠性、可用性和存取效率,还易于扩展。HDFS是Hadoop最核心的分布式文件系统。但HDFS以主节点为处理中心的... 详细信息

Hadoop分布式存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,能够有效提高集群的可靠性、可用性和存取效率,还易于扩展。HDFS是Hadoop最核心的分布式文件系统。但HDFS以主节点为处理中心的设计会当遇到海量小文件涌入时,将成为集群的瓶颈,容易导致中心节点出现存取效率低、内存瓶颈等问题。本论文主要针对基于Hadoop的分布式存储系统小文件存取问题展开研究与技术改进,主要工作如下:(1)小文件存储性能优化:本文提出了基于小文件时间连续性的文件关联性分析策略,在小文件合并前进行文件预处理。经过预处理后的小文件通过本文提出的基于最差匹配策略的小文件合并算法进一步合并整合成堆,从而显著降低系统中小文件的数量。经过实验对比表明算法能够有效缓解Name Node的内存负载,提升文件的存储效率。(2)小文件读取性能优化:与已有研究成果相比,在文件合并过程中通过索引模块为合并后的堆文件创建索引,采用基于Trie树的索引查找机制实现对小文件的快速查找定位。并且,本文通过发掘文件的访问特性建立了文件热度模型,提出了基于文件热度的缓存替换策略CRSH,利用该策略对缓存空间中的文件进行动态更迭,提升缓存区的利用率。不仅优化了Name Node内存的使用,还提高了文件访问的效率。本文基于(1)(2)中提出的小文件存取优化策略,设计并实现了基于HDFS的扩展系统EHDFS,系统依托于硕士期间参与的科研项目。该系统不仅能够有效缓解Name Node内存压力,提升文件存储和上传速率,为解决海量小文件的存储与读取问题提供了有力的支撑,并且还为用户提供了便捷的文件管理体验。能够解决现实应用场景下的问题,具有实际运用价值。图36幅,表10个,参考文献61篇

关键词：分布式存储系统 HDFS Hadoop 文件存储优化文件读取优化小文件合并

一种海量小文件存储系统中通信模块的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种海量小文件存储系统中通信模块的设计与实现

作者：徐强明南京大学

学位级别：硕士

近年来,电信运营商传统业务受到了互联网浪潮的猛烈冲击,运营商不得不寻求转型,以适应互联网的发展潮流。运营商在发展动漫基地和音乐基地业务时,随着业务的发展,产生的数据日益增多,产生了海量的小文件,这使得传统文件系统面临巨大的挑... 详细信息

近年来,电信运营商传统业务受到了互联网浪潮的猛烈冲击,运营商不得不寻求转型,以适应互联网的发展潮流。运营商在发展动漫基地和音乐基地业务时,随着业务的发展,产生的数据日益增多,产生了海量的小文件,这使得传统文件系统面临巨大的挑战,因此解决海量小文件存储的问题具有非常重要的意义。目前存在的分布式文件系统可以实现海量文件的存储,但是同时也存在一些痛点。首先,现存的分布式文件系统主要提供的核心功能是文件的上传、下载、更新和删除。其次,目前的分布式文件系统存在的不足主要是无法对海量小文件的元数据进行有效的管理以及系统架构过于复杂。电信运营商需要一个能够拥有核心功能,又能克服这些不足的文件存储系统。本论文设计实现了统一的文件存储系统,该系统主要为电信运营商的动漫基地和音乐基地业务提供数据存储服务。整个系统主要由MetadataServer、BlockServer及通信模块组成。系统通过使用Netty框架为业务提供高并发、高可用的存储访问服务;通过文件多副本存储,系统在提供良好读写性能的基础上,也提供了高可用性的保障;通过将元数据管理和存储数据访问分离,来减小元数据管理机器的压力,提升元数据管理效率;为了减少inode资源的占用,系统采用小文件合并的方式,大大减少了存储文件所需要的inode资源,使得元数据信息可以全部缓存到内存中,提升存储效率和访问效率。通信模块为整个系统提供高性能的通信服务,通信模块包括内部通信和外部通信。内部通信为节点之间提供稳定的通信服务,外部通信使得用户通过HTTP和HTTPS协议访问系统服务。通过本文设计的海量小文件系统,用户可以有效的对海量小文件进行存储及管理。目前整个系统已经上线,为电信运营商提供了高效、可靠的数据存储服务。

关键词：分布式文件系统海量小文件 Netty 元数据管理小文件合并通信模块

基于HDFS的海量小文件处理策略的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于HDFS的海量小文件处理策略的研究与实现

作者：张艺峰东南大学

学位级别：硕士

随着互联网的兴起和大数据时代的来临,当前企业与科研机构需要存储与处理的数据规模成指数级增长,传统单机存储技术的存储容量、使用成本和维护成本已经不能满足需求。Hadoop是由Apache基金会开发的开源项目,凭借其部署方便、编程简单... 详细信息

随着互联网的兴起和大数据时代的来临,当前企业与科研机构需要存储与处理的数据规模成指数级增长,传统单机存储技术的存储容量、使用成本和维护成本已经不能满足需求。Hadoop是由Apache基金会开发的开源项目,凭借其部署方便、编程简单、硬件成本低的特点,成为越来越多企业和研究机构的选择。而Hadoop的分布式文件系统HDFS设计之初主要针对大文件进行存储,随着微信、qq、今日头条等高频应用的兴起,以语音、图片以及传感信息为主的小文件存储需求不断增加,如果直接将海量小文件上传到HDFS,将会对NameNode造成较大内存压力,文件访问效率较低。虽然后来增加了一些弥补措施,但仍不够灵活。本文利用小文件合并的思路,将小文件合并为大文件进行存储,使Hadoop在存储海量小文件时NameNode的负载大大降低。首先,本文先对目前比较流行的分布式文件系统GFS、HDFS、TFS进行研究,分析HDFS的主要模块,深入研究DFSClient、NameNode、DataNode等模块的实现原理。从理论上证明HDFS对小文件存储的局限性。其次,通过阅读大量国内外文献,了解针对HDFS的海量小文件处理的解决方案。针对Hadoop自带的三种解决方案进行论述和分析,并出基于MapFile和多维表的小文件解决思路,详细述了两种思路的具体实现方案,对比它们的使用场景。最后更进一步出一种基于Redis的解决方案,进一步高小文件查询速度。HDFS供了Shell和Http两种文件访问方式,但是编写脚本需要一定技术门槛,Http访问又并不方便与直观,因此本文实现了一个基于CBFS的虚拟文件系统,可以获得类似本地文件系统的操作体验。最后,本文将HDFS传统的存储方案与本文出的方案进行对比,测试结果表明,本文的方案可以有效的降低NameNode内存压力,降低文件读写延时。证明本文中基于合并思想的小文件优化方案的可行性和正确性。

关键词：分布式文件系统 HDFS 小文件合并 MapFile 多维表

基于Hadoop的小文件存储与访问方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Hadoop的小文件存储与访问方法研究

作者：张超凯沈阳工业大学

学位级别：硕士

随着信息化的不断发展,用户访问互联网所带来的数据量以爆炸式指数的形式快速增长。其中,小文件的数据量占所有数据量的绝大部分。尽管Hadoop以其出色的性能在大型文件处理方面被广泛应用,但随着小文件数量的快速增长,存储小文件带来了N... 详细信息

随着信息化的不断发展,用户访问互联网所带来的数据量以爆炸式指数的形式快速增长。其中,小文件的数据量占所有数据量的绝大部分。尽管Hadoop以其出色的性能在大型文件处理方面被广泛应用,但随着小文件数量的快速增长,存储小文件带来了NameNode空间的大量消耗、磁盘负载不均衡、访问性能下降等问题。如何高效地存储和访问这些小文件,已成为当前急需解决的问题和研究方向。因此,本文旨在设计一种高效的解决方案,针对HDFS在小文件存储与访问优化方面的问题进行研究。针对小文件存储方面,文件之间的关联性和文件合并之后的大小分布会影响文件合并存储质量的问题。本文提出了一种基于文件关联性和文件体积的合并存储策略。该策略通过Map Reduce对文件访问记录进行并行化处理,并引入分组统计策略在自连接操作阶段对频繁项集进行分割,以此对Apriori算法进行改进,能够减少遍历事务数据库的次数,提高文件关联分析的效率。为了保证合并效果,小文件先按照强关联性进行合并。同时,为了更好地利用存储空间,本文还设计了基于体积的二次合并算法。对关联合并后的文件大小未达到数据块阈值的情况,该算法将关联合并后的文件基于体积进行二次合并,使合并后的文件均匀分布并尽可能地填满数据块,减少Name Node的内存消耗,从而提高小文件的存取效率。针对小文件访问方面,存在客户端与NameNode之间频繁交互以及节点负荷的问题。本文设计了一种基于关联性的预取机制,该机制利用小文件之间的关联性对小文件进行预取,并引入LRU-K缓存淘汰算法,该算法结合了LRU和LFU两种缓存淘汰算法的优点,有效地减少了缓存污染,并将访问命中率高的文件进行缓存,进而提高了小文件的访问效率。实验结果表明,本文提出的方案在文件存储阶段能够有效提高数据块的利用率,同时减少了Name Node内存消耗;在文件访问阶段,本文方案能够降低客户端与Name Node交互次数,从而有效地减少用户的访问时间。进一步验证了本文所提出方案的可行性和有效性。

关键词： HDFS Apriori算法小文件合并缓存机制

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于频繁项集的HDFS小文件存取方法研究

基于频繁项集的HDFS小文件存取方法研究

作者：刘露沈阳工业大学

学位级别：硕士

Hadoop分布式文件系统广泛应用在文件存储领域,随着网络技术的发展和用户需求的增长,产生了大量的小文件数据。目前,HDFS存储海量小文件的不足之处包括以下两个方面:存储海量小文件时NameNode内存空间消耗巨大;客户端频繁的与NameNode... 详细信息

Hadoop分布式文件系统广泛应用在文件存储领域,随着网络技术的发展和用户需求的增长,产生了大量的小文件数据。目前,HDFS存储海量小文件的不足之处包括以下两个方面:存储海量小文件时NameNode内存空间消耗巨大;客户端频繁的与NameNode通信造成NameNode的I/O性能下降。因此如何使用HDFS对海量的小文件进行有效地存储和管理,并实现高效、准确的搜索和访问,是一个亟待解决的问题。也成为了当今重要的研究方向。本文就是在HDFS存储海量小文件问题上提出了新的解决方案并评估其可行性。为了解决HDFS海量小文件存储的问题,本文设计了关联文件合并算法和文件缓存与更新算法。关联文件合并算法通过对Apriori算法进行分析改进,将原始数据集转换为10-事务矩阵,并增加事务计数、项目计数来进一步压缩矩阵,能够有效地减少Apriori算法剪枝过程中遍历事务数据库的次数,降低I/O开销,提高算法的执行效率,通过将强关联性的文件合并在一起,可以为文件读取阶段减少请求文件访问时间做准备。然后设计了基于队列的小文件合并算法,可以有效地缓解HAR归档技术存在的数据块中产生内部碎片和文件体积分布不均的情况。文件缓存与更新算法旨在通过增加文件缓存策略来减少客户端与NameNode的通信,根据预测的文件序列,将接下来可能被访问的文件提取至缓存区中,若用户请求的文件在缓存区中,则直接将文件返回给用户,可以减少客户端与NameNode的通信次数,提高文件读取效率,随着用户兴趣爱好的改变,设计使用基于长短期记忆网络模型来更新文件序列,提升预测的文件序列的准确性。实验表明,本文提出的解决方案在文件存储阶段能够有效地提高DataNode数据块的利用率,降低NameNode的内存消耗;在文件读取阶段能够减少客户端与NameNode通信的次数,提高了文件读取效率,缩短了用户的访问时间,证明了本文提出的小文件存取优化方案的可行性和有效性。

关键词： HDFS Apriori算法小文件合并 LSTM

一种基于HDFS的高性能文件存储与管理系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种基于HDFS的高性能文件存储与管理系统

作者：张兴斌广东工业大学

学位级别：硕士

随着全球数据信息呈爆发式增长,人工智能、机器学习、大数据、物联网等新兴产业蓬勃发展,几何增长的数据量需要更大的存储空间和更低的存储成本,因此分布式云存储的概念应运而生。本设计基于HDFS,致力于开发一款兼具应用、安全和性能的... 详细信息

随着全球数据信息呈爆发式增长,人工智能、机器学习、大数据、物联网等新兴产业蓬勃发展,几何增长的数据量需要更大的存储空间和更低的存储成本,因此分布式云存储的概念应运而生。本设计基于HDFS,致力于开发一款兼具应用、安全和性能的分布式文件云存储系统。现有的文件系统面临诸多技术和性能的不足:文件操作方面,HDFS作为底层的存储支持,用户并不能对其原生接口方法直接进行访问;安全性方面,Hadoop加密算法单一、不支持迭代加密和应用级加密;文件搜索方面,HDFS提供的文件检索功能需要遍历整个文件目录列表,从而消耗大量时间和计算资源;小文件存储方面,HDFS在设计之初便没有考虑到海量小文件存储导致的Name Node内存空间浪费问题。基于以上分析,本设计主要从文件存储系统的基础功能实现、文件及系统安全性、站内搜索功能和小文件存储优化四个方面进行研究和改进。基础功能方面,封装和增强了HDFS原生访问接口,提供了可供用户直接访问方法的URL,实现了应用级别的文件上传、下载、移动、浏览、删除等文件操作,实现了文件信息和系统状态的透明管理,并对请求响应的结果数据和异常信息进行统一定义和处理。文件数据加密和系统安全性方面,使用AES加密用户敏感文件数据,RSA加密AES密钥的组合加密策略,使用MD5加密用户账号信息,使用Spring Security实现用户身份认证和权限控制等,从而提供了文件数据加密和应用系统认证的双层防护机制。站内搜索功能方面,使用Elasticsearch构建面向用户的系统站内搜索功能,通过创建多属性、多维度描述文件信息的索引映射关系,用户可以创建、更新和删除索引,也可以自定义字段搜索、组合字段搜索、模糊搜索或对结果列表进行排序等。同时,提供了基于用户偏好的相关性打分查询实现。该系统站内搜索功能独立、高效且完全面向用户。小文件存储策略优化方面,设计了小文件元数据属性信息定义类,并提出了一种全新的小文件合并策略:基于文件后缀的类型分组和基于文件大小的合并分组策略,在文件上传的同时构建文件检索的二级索引,前者提高了文件系统的检索速度,后者保证了空间资源的利用效率。测试结果表明,系统的基础功能接口请求响应包含三部分,分别是状态码、统计信息和结果数据,将其与HDFS集群上的文件统计结果比较均达到预期效果,基于AES和RSA组合加密策略的文件数据加解密功能运行正常且对用户透明,基于Elasticsearch的系统站内搜索模块可构建多维度、面向用户的文件索引映射,用户可自定义条件进行功能丰富的搜索请求,基于文件类型和大小分组的小文件合并策略具有一定的实现可能性。

关键词： HDFS 文件存储系统组合加密 Elasticsearch 小文件合并