检索结果-南通市图书馆

基于Hadoop集群下海量小文件存储的研究与优化

在线全文

学校读者我要写书评

暂无评论

基于Hadoop集群下海量小文件存储的研究与优化

作者：李晨昊河北建筑工程学院

学位级别：硕士

大数据技术随着信息的爆炸式增长应运而生,其中大数据平台Hadoop被业界广泛使用。在广泛使用的同时,经深入其原理研究发现,由于Hadoop自身结构设计以及设计初衷使其更擅长处理流式大文件,而对海量小文件处理效率较低。由于Hadoop中HDFS... 详细信息

大数据技术随着信息的爆炸式增长应运而生,其中大数据平台Hadoop被业界广泛使用。在广泛使用的同时,经深入其原理研究发现,由于Hadoop自身结构设计以及设计初衷使其更擅长处理流式大文件,而对海量小文件处理效率较低。由于Hadoop中HDFS自身结构设计,HDFS在存储海量小文件时NameNode大量的内存空间被小文件元数据所占用,并且数据的大小差异也会影响DataNode的存储分配,造成资源的浪费问题。本文旨在对Hadoop在存储与处理海量小文件情境下效率低下问题进行研究与优化,从而提升Hadoop处理小文件的能力。针对Hadoop在存储小文件以及处理小文件情境下效率低下这一问题,本文深入研究了Hadoop架构原理,重点研究分析了分布式存储系统HDFS的底层原理和工作流程,充分吸收Hadoop现有解决方案和前人学者提供优化方案的优势之处,同时分析出目前存在的弊端与不足,并在此基础上提出HMPT(Hadoop multi-level processing template)多级处理模型。该处理模型相较于其他的优化解决方案,优势在于有着较为全面的处理流程,并且对各个处理模块所使用的方法进行了优化与改良。HMPT模型主要由五个子模块构成,分别为文件判断单元:对上传文件做判断处理,过滤筛选出小文件进入到后续处理模块,大文件则直接上传至原生系统;文本文件分类处理模块:为弥补现有解决方案忽略文件关联性的问题,根据文件类型进行初步分类后又利用Text-CNN算法对文本进行二次分类;文件二次合并模块:提出一种基于空间最优的二次合并算法对小文件进行合并存储,以缓解NameNode的压力;文件索引模块:利用HKD-tree建立高效索引,提高文件读取效率;Redis集群缓存模块:优化和建立了以Redis集群为基础的缓存机制模块,极大地提高了对热点文件查询的效率。最后通过将海量的小文件上传至Hadoop集群中进行多方位对比实验。分别对NameNode内存占用、单客户机读写、多客户机并发读写测试、热点文件读取测试等方式比较了原生文件系统、Hadoop平台现有机制(HAR、SF)以及本文提出的HMPT所耗费时间进行了对比实验,最终验证了本文提出的HMPT模型在保障Hadoop原有平台的功能性和操作性完整的基础上对海量小文件的存储与处理得到了优化和提升。

关键词： HDFS 海量小文件文件分类文件合并 Hadoop

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

海量小文件的快速检索技术研究与实现

海量小文件的快速检索技术研究与实现

作者：贺扬国防科学技术大学

学位级别：硕士

随着数据规模的不断扩大,分布式文件系统以其海量数据支持、高可用、大规模并发访问和并发处理能力等优势获得越来越多的关注。目前,分布式文件系统大多基于文件目录结构管理文件系统存储的文件,用户可以通过文件系统内置的命令行接口和... 详细信息

随着数据规模的不断扩大,分布式文件系统以其海量数据支持、高可用、大规模并发访问和并发处理能力等优势获得越来越多的关注。目前,分布式文件系统大多基于文件目录结构管理文件系统存储的文件,用户可以通过文件系统内置的命令行接口和REST(Representational State Transfer)接口,按照文件目录结构快速访问目标文件。以海量照片数据为例,每个照片往往具有“拍照时间”、“地点”、“照片内容描述”等相关属性,如果用户需要从拍照时间、地点或照片内容描述等属性检索与该属性关键字相关的照片,基于文件目录结构来管理海量照片文件就很难满足用户非文件目录结构属性的文件检索请求。本文在课题组海量小文件分布式文件系统SMDFS2.0(Small files Distributed File System 2.0)研究成果基础上,针对分布式文件系统浏览模式单一的问题,首先在文件元数据结构中添加文件特征属性字段,建立文件特征与文件索引映射关系——特征倒排索引表,提出了与文件元数据绑定分布的海量小文件特征倒排索引技术。与元数据绑定分布的特征倒排索引技术的思想为文件元数据分布在哪一个节点,就在该节点上构建文件特征倒排索引表。同时基于跳表结构对倒排索引表管理,有利于从多维度检索和定位用户关心的文件。SMDFS以元数据簇为单位对元数据进行管理和分布。随着文件的创建和删除,元数据簇会发生分裂和合并操作,并重新分布。元数据簇的重分布过程必然对文件特征倒排索引表产生影响。本文提出了文件特征倒排索引表的动态分裂与重构技术,实现了特征倒排索引表的高效重分布,保证了系统的高可用性。在SMDFS2.0的基础之上,实现了特征倒排索引表与文件元数据绑定、特征索引元数据动态分裂与重构的分布式海量小文件多维度浏览系统SMDFS3.0。本文包含三组对比测试,分别为文件读写能力测试、文件特征检索能力测试和特征索引集中式维护与分散式维护对比测试。测试结果表明,SMDFS3.0与SMDFS2.0的文件读、写性能相当,时间维度检索性能相比SMDFS2.0提升231倍,城市维度检索性能相比SMDFS2.0提升52倍,分散式索引管理技术相比集中式索引管理技术在最大文件存储性能上和文件检索性能上更具有优势。

关键词：分布式文件系统海量小文件倒排索引检索动态分裂与重构

FlatLFS:一种面向海量小文件处理优化的轻量级文件系统

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

国防科技大学学报 2013年第2期35卷 120-126页

作者：付松龄廖湘科黄辰林王蕾李姗姗国防科技大学计算机学院湖南长沙410073

海量小文件的高效存储和访问是当前分布式文件系统面临的主要挑战之一。以GFS和HDFS为代表的分布式文件系统大多面向海量大文件的高效存储和访问设计,缺乏小文件处理的针对性优化,导致访问海量小文件时效率低下。针对分布式文件系统中... 详细信息

海量小文件的高效存储和访问是当前分布式文件系统面临的主要挑战之一。以GFS和HDFS为代表的分布式文件系统大多面向海量大文件的高效存储和访问设计,缺乏小文件处理的针对性优化,导致访问海量小文件时效率低下。针对分布式文件系统中海量小文件访问时的数据服务器优化问题,提出了一种采用扁平式数据存储方法的轻量级文件系统FlatLFS,取代传统文件系统对上层分布式文件系统提供数据存储和访问支持,提高了数据服务器处理小数据块时的I/O性能,从而提升了整个分布式文件系统的性能。实验表明,当数据块大小设定为1M时,FlatLFS的随机读性能分别比ext3、ext4、reiserfs高135%、112%和122%。

关键词：分布式文件系统海量小文件 ext文件系统云计算

在线全文

学校读者我要写书评

暂无评论

一种面向NTFS的海量小文件高速读写方法

现代计算机 2022年第3期28卷 87-92页

作者：彭涵钧黄传波涂磊胡晓勤四川大学网络空间安全学院成都610200 成都云祺科技有限公司成都610041

为了解决NTFS(newtechnologyfilesystem)环境下海量小文件读写性能低下的问题,提出了一种高速读写方法。该方法通过解析NTFS系统结构,提取文件记录、目录项等关键元数据,模拟文件系统读取磁盘数据,并通过元数据与用户数据的双预读机制,... 详细信息

为了解决NTFS(newtechnologyfilesystem)环境下海量小文件读写性能低下的问题,提出了一种高速读写方法。该方法通过解析NTFS系统结构,提取文件记录、目录项等关键元数据,模拟文件系统读取磁盘数据,并通过元数据与用户数据的双预读机制,提升数据读取效率,从而实现了NTFS上海量小文件的高速读写。实验结果证明,该方法能够大幅提升NTFS环境下海量小文件的读写速率。

关键词：海量小文件文件读写文件系统元数据

基于HDFS的海量小文件存储系统的研究与实现

在线全文

学校读者我要写书评

暂无评论

基于HDFS的海量小文件存储系统的研究与实现

作者：田峰西安电子科技大学

学位级别：硕士

随着互联网行业的发展,直接地催化了大数据、云计算、人工智能等多个领域的关键技术取得了巨大的发展。在这样的大背景下,极大地催化了物联网技术在我们生活中的方方面面落地。物理网大数据平台其主要功能包含了对目标设备数据的采集、... 详细信息

随着互联网行业的发展,直接地催化了大数据、云计算、人工智能等多个领域的关键技术取得了巨大的发展。在这样的大背景下,极大地催化了物联网技术在我们生活中的方方面面落地。物理网大数据平台其主要功能包含了对目标设备数据的采集、存储、挖掘等,且其数据主要具有海量和异构的特点。本文选择当下十分火热的海量小文件集中存储作为研究课题,除了上述物联网场景之外,在我们的生活中小文件形态的数据其实无处不在例如照片、音视频、日志文件等等,具备了海量和异构两大特点,且传统文件系统基本无法提供原生支持甚至可能导致系统崩溃,所以如何将海量小数据集中存储并实现快速检索访问成为了当下互联网行业发展过程中一个亟需解决的问题。针对上述问题,本文提出了一种基于大数据处理框架Apache Hadoop底层文件系统HDFS的海量小文件集中存储解决方案。首先通过对HDFS系统原生架构的分析,得出其原生用于存储单体粒度较大的大文件,在小文件存储方面存在读取效率低下且有可能因Namenode单点压力过大而导致集群主节点崩溃进而造成系统服务中断的问题。针对这一问题,本文提出了一套面向海量小文件存储场景的针对性架构改造方案,并设计了系统级的多级数据缓存策略来分别在功能性方面和读写性能方面支撑海量小文件的集中存储。具体的研究内容包括以下几个方面:(1)面向海量小文件集中存储场景对原生HDFS系统进行了一系列针对性的改造。在决定了新架构下以疏解集群主节点在存储海量小文件时因文件元数据数量过大而导致的集群主节点单点压力过大为主要目标后,改造过程中主要包括对系统中元数据存储方式的改造,将原生系统中元数据仅集中存储在主节点的机制改造为由各存储节点存储自身节点内部元数据在节点内存中,主节点内存中仅仅存储一小部分热点元数据并在其磁盘上持久化文件系统中的全量元数据,并设计了针对元数据的缓存策略和同步策略。在数据块的改造方面,针对性的改造了文件系统中的数据块创建以及回收过程,最大程度的提升了系统磁盘使用效率。(2)在完成了对原生系统的针对性架构改造后,设计了系统性的多级数据缓存机制以提升分布式文件系统在提供数据读写服务过程中的性能。该部分主要包括对缓存策略的选择,在选择了分布式独立缓存的基础上对系统内多级数据缓存资源池进行缓存机制设计。在确定了系统缓存基本方案的基础上完成缓存内部的冷热数据置换策略以及冷数据清理和异步写入过程的自适应化调整设计。(3)通过最终与原生系统的对比实验证明了本文中的关于新架构的设计达到了疏解主节点单点压力的作用且保证了海量小文件存储的功能性,在海量小文件读写背景下Namenode节点内存占用较显著降低。在系统针对小文件场景的读写性能方面,全面超越了原生系统,对原生系统在海量小文件场景下的读写响应时间正向提升超过50%。

关键词：海量小文件 HDFS 分布式独立缓存自适应化调整

基于fastNTsync算法的海量小文件同步优化方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机时代 2023年第10期 17-21页

作者：华南朱彦霞河南中广智媒科技有限公司河南郑州450000 中国广电河南网络有限公司河南省职工医院河南省郑州工人疗养院

为解决海量小文件同步过程中的性能瓶颈,提出一种基于fastNTsync优化方法。综合运用NTFS分区表快照技术、NTFS$MFT分析技术和文件打包分区组合拷贝技术,来减少数据包往返时间浪费,提升带宽使用率,提高数据同步速度和效率。实验结果表明... 详细信息

为解决海量小文件同步过程中的性能瓶颈,提出一种基于fastNTsync优化方法。综合运用NTFS分区表快照技术、NTFS$MFT分析技术和文件打包分区组合拷贝技术,来减少数据包往返时间浪费,提升带宽使用率,提高数据同步速度和效率。实验结果表明,该方法在处理大量小文件时具有显著优势,能提高同步速度和效率,并减少数据传输量和时间浪费。该基于fastNTsync算法的海量小文件同步优化方法对相关领域的研究及应用具有参考价值。

关键词：海量小文件数据同步数据传输优化方法

在线全文

学校读者我要写书评

暂无评论

航空货运中海量小文件的存储优化

计算机工程与设计 2018年第5期39卷 1484-1489页

作者：李国李汶晓徐俊洁中国民航大学计算机科学与技术学院天津300300

针对Hadoop分布式文件系统在航空货运中海量小文件存储方面存在的低效率问题,提出一种面向航空货运中海量小文件的存储优化方法。通过分析航空货运数据交换平台中历史报文数据,构建用户的报文类型访问模型,计算报文类型的关联度,根据关... 详细信息

针对Hadoop分布式文件系统在航空货运中海量小文件存储方面存在的低效率问题,提出一种面向航空货运中海量小文件的存储优化方法。通过分析航空货运数据交换平台中历史报文数据,构建用户的报文类型访问模型,计算报文类型的关联度,根据关联度将小文件合并成大文件后存储至HDFS;建立小文件索引以及数据缓存和相关小文件预取机制。实验结果表明,该方法对于Hadoop分布式文件系统存取航空货运海量小文件时NameNode的压力有明显缓解,提升了存取文件的时间效率,为航空货运中海量小文件的存储问题提供了技术支持。

关键词：航空货运数据交换平台 Hadoop分布式文件系统海量小文件网页排序算法预取缓存

在线全文

学校读者我要写书评

暂无评论

海量教育资源中小文件的存储研究

计算机科学 2015年第10期42卷 76-80页

作者：游小容曹晟电子科技大学计算机科学与工程学院成都611731

Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成... 详细信息

Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率。实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率。

关键词：海量小文件小文件合并预取缓存

基于Hadoop的航空货运海量小文件存储研究

在线全文

学校读者我要写书评

暂无评论

基于Hadoop的航空货运海量小文件存储研究

作者：李汶晓中国民航大学

学位级别：硕士

随着电商产业的蓬勃发展,物流数据的规模也越来越庞大。传统的存储方式对于存储如今海量的航空货运小文件已经难以应对了,因此越来越多的公司将视线转向新的存储方式,即通过Hadoop分布式文件系统存储数据。航空货运数据主要是指航空货... 详细信息

随着电商产业的蓬勃发展,物流数据的规模也越来越庞大。传统的存储方式对于存储如今海量的航空货运小文件已经难以应对了,因此越来越多的公司将视线转向新的存储方式,即通过Hadoop分布式文件系统存储数据。航空货运数据主要是指航空货运系统中产生的各种类型的报文数据,涉及数据交换过程中的信息,航空货运数据大多以海量小文件形式存在,文件大小一般在10KB之内,故称其为航空货运小文件。但由于Hadoop分布式文件系统HDFS主要是针对解决存储海量大文件问题设计,当存储海量小文件时,面临着存储效率不高、内存占用量大、NameNode资源消耗过度等诸多问题。因此,研究Hadoop分布式文件系统针对于航空货运海量小文件的存储方法是现在航空货运领域需要解决的问题之一。本文为了解决航空货运海量小文件在HDFS中的存储问题,分析了航空物流关键数据及其特征,提出了一种基于Hadoop的航空货运海量小文件存储方案,主要内容如下:（1）提出了基于文件关联特征的航空货运小文件合并算法,其包含小文件的数据预处理过程、关键数据的提取、小文件间相关性计算,该算法是依据解析后的文件间的关联性将小文件合并,提高文件的存储和访问效率。（2）设计了一种面向货运数据的缓存与预取方案,其通过建立文件索引结构、元数据缓存以及针对缓存数据优化等方法,提升小文件读取时的速率,其中使用Redis内存数据库作缓存数据库,并在Redis中缓存相关元数据信息,以减少HDFS中NameNode的内存压力,提升Hadoop分布式文件系统的整体并发性能和索引检索速度。并通过实验与分析,验证了文中提出的合并算法相较原生HDFS和Sequence Files存储方案在海量货运小文件的存储时间、NameNode内存压力上都有更明显的;以及验证了本文中缓存预取优化方案相较原生HDFS和Sequence Files方案在航空货运文件读取时间上也均有更明显的提升。

关键词：航空货运海量小文件 HDFS PageRank 缓存