检索结果-南通市图书馆

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

海量教育资源中小文件的存储研究

计算机科学 2015年第10期42卷 76-80页

作者：游小容曹晟电子科技大学计算机科学与工程学院成都611731

Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成... 详细信息

Hadoop作为成熟的分布式云平台,能提供可靠高效的存储服务,常用来解决大文件的存储问题,但在处理海量小文件时效率显著降低。提出了基于Hadoop的海量教育资源中小文件的存储优化方案,即利用教育资源小文件间的关联关系,将小文件合并成大文件以减少文件数量,并用索引机制访问小文件及元数据缓存和关联小文件预取机制来提高文件的读取效率。实验证明,以上方法提高了Hadoop文件系统对小文件的存取效率。

关键词：海量小文件小文件合并预取缓存

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

高效的片上Flash加速控制器软硬件设计

高效的片上Flash加速控制器软硬件设计

作者：蒋进松浙江大学

学位级别：硕士

随着智能家居、可穿戴设备和物联网等概念的兴起,微控制器芯片(MCU)的应用市场越来越广阔。与此同时片上Flash逐渐取代早期的ROM,成为MCU芯片中最重要的指令存储器。但是相对于处理器来说,片上Flas h属于慢速的存储设备,制约着MCU芯片... 详细信息

随着智能家居、可穿戴设备和物联网等概念的兴起,微控制器芯片(MCU)的应用市场越来越广阔。与此同时片上Flash逐渐取代早期的ROM,成为MCU芯片中最重要的指令存储器。但是相对于处理器来说,片上Flas h属于慢速的存储设备,制约着MCU芯片的整体性能。因此,研究如何提高片上Flash的读取速度有着重要意义。本文设计了一款高效的片上Flash加速控制器,通过软硬件技术来提高Flash的读取速度。文中首先介绍了实现Flash基本功能的控制器硬件设计。在设计中充分考虑低功耗和可测试性的设计思想,并通过优化接口信号,实现低频模式下Flash的单周期连续访问。其次,文中提出基于预取和缓存原理的加速模块设计,整合并优化出预取缓存与高速缓存两种加速方案来提升Flash读取速度。其中预取缓存方案采用位宽扩展和预取技术加速顺序指令的读取,并采用分支缓存技术,降低由非顺序指令造成的预取缺失代价。而高速缓存方案采用路预测和缓存锁定技术,减少不必要的缓存访问和替换,在提高读取速度的同时,降低系统功耗。再次,为了进一步提升Flash读取速度,本文从软件方面也提出相应的优化方法。针对缓存锁定技术,本文提出一套公式和流程来确定锁定区域。针对两种加速方案的选择,本文提出一套切换机制,使得两者在程序中既可以静态配置,也可以动态自适应切换。最后,本文通过一款SoC芯片的设计实例,进一步验证了文中提出的片上Flash力口速控制器的可行性和实用性。

关键词：片上Flash加速控制器预取缓存高速缓存自适应

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Hadoop集群中小文件的存取优化研究

Hadoop集群中小文件的存取优化研究

作者：马振新疆大学

学位级别：硕士

近年来,全球大数据进入加速发展阶段,数据总量每年增长50%,呈现出海量聚集、爆发增长的态势,引领转型的新特征,如何存储、分析和利用这些数据是当前人类急需解决的一大难题。由HDFS、MapReduce、Hive、HBase等组件构成的Hadoop凭借其出... 详细信息

近年来,全球大数据进入加速发展阶段,数据总量每年增长50%,呈现出海量聚集、爆发增长的态势,引领转型的新特征,如何存储、分析和利用这些数据是当前人类急需解决的一大难题。由HDFS、MapReduce、Hive、HBase等组件构成的Hadoop凭借其出色的性能、稳定安全的生态体系和开源等优势逐渐成为了通用的大数据存储平台,然而由于固定的NameNode内存有对应文件数量上限的限制,使其并不适合存储海量小文件。因而在查阅相关文献及研究、分析了HDFS存取文件的过程、HBase读取数据的过程后,本文提出一种海量小文件存取优化方案,主要做了以下研究:针对目前业内没有明确给出小文件的度量标准,而且当超大规模的小文件存储在HDFS中时,必将出现因元数据量的急剧增长导致的内存紧张问题,本文提出了确定适合硬件配置的大、小文件判定阈值的方法和结合背包数学模型与KMeans聚类算法的合并方法。首先利用Hadoop性能测试工具TestDFSIO确定适合硬件环境的大、小文件判定阈值,将目标文件分为大文件和小文件;然后采用背包模型下的K-Means聚类算法将待处理的文件分为多个聚类簇,再用贪心搜索策略分别选取每个聚类簇中的文件进行组合、合并为大文件,并将大文件存储至HDFS中;最后通过实验验证,结果表明:该方法在存储速度、降低NameNode内存占用率上均有明显的改善。针对现实生活中充斥着大量文件名相似的文件,直接存储在HBase中将导致访问热点的问题,大量访问文件也会导致HDFS客户端与主节点交互频繁的问题,本文提出了基于数据集的行键优化方法、分类读取策略,并且实现了基于Ehcache的缓存预取策略。首先确保对下一组文件合并、存储之前,为大文件、合并文件和小文件建立文件索引,以文件MD5值、文件名和数据集名的拼接作为Row Key存储于HBase数据库中,使文件均匀分布在每个节点上,实现系统的负载均衡;接着对大文件、合并文件和小文件分别进行标记,设计相应的读取方法;然后采用Ehcache框架作为缓存模块,实现热点文件的预取和元数据的缓存,进一步提高Hadoop集群的文件访问速度,减少了HDFS客户端与主节点的交互次数;最后通过实验验证,结果表明:该方法在读取速度上有明显的提高。在以上研究的基础上,设计并实现了HDFS文件管理演示系统。该演示系统根据实际系统开发中的用户需求,设计了普通用户和管理员两种模式,并实现了文件管理和用户信息管理功能,最后通过对HDFS文件管理演示系统进行的性能测试,结果表明:该演示系统能高效地管理HDFS中海量的文件。

关键词： Hadoop 小文件 HDFS HBase 预取缓存

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向海量小文件存取的HDFS优化研究

面向海量小文件存取的HDFS优化研究

作者：李铁东华大学

学位级别：硕士

Hadoop是近几年发展比较成熟的云计算平台之一，凭借其可靠，高效，可伸缩的特性在互联网领域得到了广泛应用，比如Yahoo、Amazon、Facebook等公司成功地应用了Hadoop，同时也得到了学术界的普遍关注。HDFS作为Hadoop的分布式文件系统... 详细信息

Hadoop是近几年发展比较成熟的云计算平台之一，凭借其可靠，高效，可伸缩的特性在互联网领域得到了广泛应用，比如Yahoo、Amazon、Facebook等公司成功地应用了Hadoop，同时也得到了学术界的普遍关注。HDFS作为Hadoop的分布式文件系统有着高可用的特性，但它是为大文件的存储与计算而设计，却忽略了对小文件处理的优化，当大量的小文件存储到HDFS中就会产生大量的元数据，因而占用NameNode大量的内存。而对海量小文件高并发的访问使得HDFS的NameNode和DataNode都负载过大。这使得HDFS不适合存储小文件。针对HDFS在小文件处理的不足，本文提出了一个基于HDFS的中间件HMFS来解决HDFS的小文件问题。它由用户接口层、任务层和存储层组成。能够很好的实现对小文件的上传、下载、修改、删除操作。并且它所有的任务都在后台运行，通过读写分离机制大大地提高文件的上传效率，通过缓存预取机制提高了文件的下载效率。在小文件合并的优化方面，本文提出了SmartFS。SmartFS通过分析小文件访问日志，获取用户访问行为，建立文件关联概率模型，并根据基于文件关联关系的合并算法将小文件组装成大文件后存至HDFS;当从HDFS获取文件时，根据基于文件关联关系的预取算法来提高文件访问效率，同时采用基于预取的缓存替换算法Prefetching-LFU来管理缓存空间，提高文件的命中率。最后，本文将HMFS与SmartFS的优点相结合，设计并实现一个基于HDFS的通用高效的小文件系统，该系统使用HMFS进行在线的文件处理，如文件上传、下载、更新及删除。并使用SmartFS来分析历史的访问日志得到文件关联，再将相关联的文件重新合并上传到HDFS中。在预取与缓存策略上，它结合HMFS与SmartFS两种情况进行预取与缓存，保证了各种情况的高效运行。实验表明该系统的上传，下载速度相对HDFS有极大的提升，且减少了HDFS元数据量，使得HDFS能够支持海量的小文件处理，并且它能将相关联的文件合并提高了预取与缓存的效率。综上，该系统是一种通用且高效的HDFS小文件解决方案。

关键词： HDFS 分布式文件系统小文件文件合并预取缓存

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Hadoop的云存储系统的设计与实现

基于Hadoop的云存储系统的设计与实现

作者：程旺黑龙江大学

学位级别：硕士

随着社会信息化的发展,互联网的使用已经非常普及。全球大数据进入高速发展阶段,随之产生的数据呈指数级增长,如何存储和分析这些海量数据已成为当前热点问题。云存储作为一种服务,被广泛应用在多个存储领域,以其良好的可扩展性、可靠... 详细信息

随着社会信息化的发展,互联网的使用已经非常普及。全球大数据进入高速发展阶段,随之产生的数据呈指数级增长,如何存储和分析这些海量数据已成为当前热点问题。云存储作为一种服务,被广泛应用在多个存储领域,以其良好的可扩展性、可靠性、稳定性作为海量数据存储的优秀解决方案。Hadoop作为云存储的分布式存储技术的主流项目,可以运行在低廉的硬件上,并具有可靠的容错性,正受到很多企业和科研的青睐。本文系统地阐述了一个基于Hadoop架构的云存储系统的设计与实现。并针对小文件存储问题进行原生HDFS系统改造,提出了HPM方案,在数据处理层完成了多个功能模块的设计。根据小文件的体积不均的特点,本文基于体积最优的小文件合并算法的设计,对小文件进行合并,使得均匀地分布在数据块中,充分利用数据块体积减少数据块的空白区,一定程度上减少Name Node的内存开销,其中相比于原生HDFS的内存开销降低了近95.58%。另外设计文件索引与热点缓存,是基于Ehcache的缓存预取方案。在数据写入之前对文件建立索引,以文件多标签拼接成字符串作为Row Key存储在HBase数据库中,接着通过对各种不同文件标识设计读取方式,并采用Ehcache缓存策略实现热点数据的预取和缓存,从而提高Hadoop集群的读取效率,对比实验验证了该方案比原生HDFS的读取速率提升了2.01倍左右。通过对云存储方案需求和可行性的分析,设计了云存储系统的总体架构并在此基础上进行系统的技术架构、web端负载均衡及数据库的设计工作,最后,完成系统的环境部署及系统功能的实现,主要验证了系统基于B/S模式的访问特点,实现用户管理、目录管理及文件上传、下载、共享、删除等操作。基本实现了云存储系统应有的功能和所具备的特点。

关键词：云存储 Hadoop 小文件 HDFS 预取缓存 B/S

基于Hadoop分布式架构的云存储系统设计

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

电脑知识与技术 2024年第23期20卷 46-48页

作者：曹阳内蒙古机场集团包头分公司内蒙古包头014010

为满足海量数据的便捷化、智能化存储和分析需求,充分发挥和利用Hadoop分布式架构的运行成本低、容错性高等优势,应用Hadoop分布式架构设计一款新型、先进的云存储系统,从系统架构设计和系统数据库设计两个方面入手,完成系统总体设计。... 详细信息

为满足海量数据的便捷化、智能化存储和分析需求,充分发挥和利用Hadoop分布式架构的运行成本低、容错性高等优势,应用Hadoop分布式架构设计一款新型、先进的云存储系统,从系统架构设计和系统数据库设计两个方面入手,完成系统总体设计。根据系统功能列表,依次设计文件上传、文件下载、文件浏览、其他操作等模块。在Hadoop分布式架构的应用背景下,文章中所设计的云存储系统具有内存开销率低、集群读取效率高、安全可靠等优点,符合预期设计标准和要求。

关键词： Hadoop 云存储系统预取缓存数据读取