检索结果-南通市图书馆

基于Hadoop的海量数据存储平台设计与开发

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2012年第S1期49卷 12-18页

作者：崔杰李陶深兰红星广西大学计算机与电子信息学院南宁530004 广西工业和信息化委员会南宁530022

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储... 详细信息

随着北部湾海洋生态资源的开发和利用,海量海洋科学数据飞速涌现出来,利用海量数据存储平台合理管理和存储这些科学数据显得极为重要.这里提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法,构建了海量海洋科学数据存储平台解决方案,采用Linux集群技术,设计开发一个基于Hadoop的海量数据存储平台.系统由五大模块组成,有系统管理模块、并行加载存储模块、并行查询模块、数据字典模块、备份恢复模块,能够实现存储海量海洋科学数据.系统模块实现结果表明,该系统安全可靠、易维护、具有良好的可扩展性.

关键词：海量数据存储海洋科学数据 Hadoop 分布式计算

在线全文

学校读者我要写书评

暂无评论

基于虚拟仪器技术的海量数据存储记录仪

重庆大学学报（自然科学版） 2004年第10期27卷 21-24页

作者：王娅仙周传德秦树人重庆大学机械学院测试中心重庆400030

记录仪是重要的二次仪表,用于工业自动化监控系统,也可以用于高速现场采集为后续分析准备数据。虚拟式海量数据存储记录仪是在克服传统记录仪缺点的基础上,结合虚拟仪器技术,开发出来的一种新型的记录仪。作者对系统原理、硬件结构及软... 详细信息

记录仪是重要的二次仪表,用于工业自动化监控系统,也可以用于高速现场采集为后续分析准备数据。虚拟式海量数据存储记录仪是在克服传统记录仪缺点的基础上,结合虚拟仪器技术,开发出来的一种新型的记录仪。作者对系统原理、硬件结构及软件设计进行了详细的论述,并给出了一个应用实例。该仪器具有成本低,易携带,操作方便的优点,满足了大多数行业对记录仪的需要。

关键词：虚拟仪器记录仪海量数据存储软件设计

在线全文

学校读者我要写书评

暂无评论

智能测产系统中的海量数据存储技术

电子技术应用 2005年第1期31卷 33-35页

作者：索远强周国祥苗玉彬刘成良上海交通大学机电控制研究所 200030

介绍了智能仪器中海量数据的存储方法,并设计了一种海量数据存储模块。该模块采用CompactFlash电子盘实现了大量数据的存储,并通过串口通信与各种现场智能设备和工控系统进行数据交换。最后将其应用于智能测产系统中,并进行了现场实验... 详细信息

介绍了智能仪器中海量数据的存储方法,并设计了一种海量数据存储模块。该模块采用CompactFlash电子盘实现了大量数据的存储,并通过串口通信与各种现场智能设备和工控系统进行数据交换。最后将其应用于智能测产系统中,并进行了现场实验。实验结果表明,该模块具有很高的可靠性,满足了使用要求。

关键词：海量数据存储工控系统电子盘行数据模块智能仪器串口通信现场智能设备存储方法交换

在线全文

学校读者我要写书评

暂无评论

基于云计算的图书馆海量数据存储研究

图书与情报 2010年第3期 99-101页

作者：杜海宁浙江丽水学院图书馆浙江丽水323000

云计算是一种新型的基于互联网的商业计算模型,是多种技术混合演进的结果,具有安全可靠、海量信息存储、快速方便等特点。图书馆利用云计算的分布式数据存储技术和与之相关的虚拟技术实现对海量数据的存储,能降低存储和维护成本,具有所... 详细信息

云计算是一种新型的基于互联网的商业计算模型,是多种技术混合演进的结果,具有安全可靠、海量信息存储、快速方便等特点。图书馆利用云计算的分布式数据存储技术和与之相关的虚拟技术实现对海量数据的存储,能降低存储和维护成本,具有所存数据安全可靠,轻松实现不同设备间的数据共享等特点。

关键词：云计算图书馆海量数据存储存储技术虚拟技术

基于Hadoop海量数据存储仿真平台的研究与设计

在线全文

学校读者我要写书评

暂无评论

基于Hadoop海量数据存储仿真平台的研究与设计

作者：陈剑锐华南理工大学

学位级别：硕士

随着全球信息化网络化发展和变革的推进,信息处理工作的客观环境已发生了根本性变化。目前随着各国信息化步伐的加快,要处理的来源数据发生了明显变化,最主要的特点就是数据的传输速率越来越快,信息量越来越大,如何及时有效地存储和处... 详细信息

随着全球信息化网络化发展和变革的推进,信息处理工作的客观环境已发生了根本性变化。目前随着各国信息化步伐的加快,要处理的来源数据发生了明显变化,最主要的特点就是数据的传输速率越来越快,信息量越来越大,如何及时有效地存储和处理海量数据,并在大量的数据中准确定位目标数据是摆在当前和将来的信息处理工作中的一道难题,成为信息化建设中的一大瓶颈。有鉴于此,海量数据存储一直都是热门的研究点,对其研究的课题层出不穷,既包括大文件的存储,也包括系统可靠性、可扩展性和运行速度、管理等,在这些课题推动下,海量数据存储系统也从集中式发展到了分布式,以及后来的网格存储与云存储。Hadoop是一个可靠、高效、可伸缩的分布式系统基础架构,并且是开源、跨平台的,其出现大大推动了云技术、云存储的研究,例如IBM[1]的新研究课题就是在Hadoop上建立新的存储架构。Hadoop还是一种新生的架构,虽然基于其的应用已经有不少,但是却还远远算不上成熟,所以对其存在的不足的研究和优化也存在巨大的空间。对Hadoop的研究对于企业和机构来说,在设计初期需要一个对研究和设计成果进行测试的平台,而这些,显然是不适合在实际的平台上进行的。基于以上考虑,本人从仿真角度进行考虑,在研究了Hadoop的架构和主要特点之后,设计并实现了一个基于Hadoop海量数据存储的仿真平台,允许用户根据需要进行系统规模设置、使用情况设定、策略制定等各项操作,并使用这些设定进行系统运行仿真,从而得到接近实际使用情况的测试结果,有利于促进包括节能、性能优化、提升稳定性等各类基于Hadoop的研究。此外,在本系统之上,尝试提出一个新的基于文件热度的多级文件迁移与系统休眠机制,在不显著降低系统性能的情况下对系统能耗进行了大幅度的削减,受限于无法获取实际的Hadoop系统使用日志文件,在此只进行了模拟数据的仿真测试。

关键词：海量数据存储 Hadoop 仿真平台

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

高速海量数据存储技术研究

高速海量数据存储技术研究

作者：邵林国防科学技术大学

学位级别：硕士

在2.5Gb/s SDH(Synchronous Digital Hierarchy)光纤干线网上,常常需要将某一段时间内数据准确记录下来,为下一步的净荷分析做准备。为了实现这一目标,存深入分析硬盘性能和磁盘阵列技术的基础上,本文主要对基于SCSI协议的磁盘阵列存储... 详细信息

在2.5Gb/s SDH(Synchronous Digital Hierarchy)光纤干线网上,常常需要将某一段时间内数据准确记录下来,为下一步的净荷分析做准备。为了实现这一目标,存深入分析硬盘性能和磁盘阵列技术的基础上,本文主要对基于SCSI协议的磁盘阵列存储技术的实现方法进行了研究。此外还提出了一种基于PCI Express总线的磁盘阵列实现高速数据存储的方案。本文的主要内容包括: 1、从存储介质和存储模式两个方面,简要介绍了海量数据存储技术,并分析了国内高速海量数据存储技术研究现状和技术水平。 2、详细分析了硬盘的结构和关键性能指标,深入研究了磁盘阵列技术,并重点分析了影响RAID0性能的关键因素,为利用磁盘阵列技术实现海量存储做好了准备。 3、在深入研究SCSI协议的基础上,详细介绍了基于SCSI协议的磁盘阵列存储系统的设计实现。具体分析了系统硬件各模块的实现方法,说明了通过SCSI总线对硬盘进行读写的软件设计,最后深入分析了系统性能,找出了性能瓶颈,并给出了改进办法。该系统中,多路硬盘存储子系统在结构上组成RAID0级的磁盘阵列,实现对高速数据的记录。 4、在深入分析PCI Express总线技术的基础上,提出了基于PCI Express总线磁盘阵列存储技术的总体设计方案,重点研究了PCI Express总线上两块设备之间进行高速路由通信的实现方法,并对系统的各个组成模块进行了详细的性能分析。

关键词：海量数据存储硬盘 RAID SCSI总线 PCI Express总线

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于海量数据存储的性能测试与优化研究

基于海量数据存储的性能测试与优化研究

作者：田爱雪长春理工大学

学位级别：硕士

随着数据存储规模的不断扩大,传统磁盘阵列技术和网络存储技术已经不能满足海量数据存储的性能需求,高性能的云存储技术逐渐取代传统数据存储技术。为了满足海量数据存储系统的性能需求,本文使用云存储服务代表之一的Hadoop分布式存储框... 详细信息

随着数据存储规模的不断扩大,传统磁盘阵列技术和网络存储技术已经不能满足海量数据存储的性能需求,高性能的云存储技术逐渐取代传统数据存储技术。为了满足海量数据存储系统的性能需求,本文使用云存储服务代表之一的Hadoop分布式存储框架,结合非关系型数据库HBase、分布式文件系统HDFS和并行编程模型MapReduce,为库存与物流配送管理系统搭建和部署Hadoop集群,满足系统的分布式、大容量、高性能和高扩展性的要求。严格按照性能测试的流程,使用自动化测试工具LoadRunner对系统进行性能测试,整理测试结果,分析系统的性能瓶颈,最后通过HBase数据库优化、Hadoop集群优化、Web服务器升级和作业调度策略改进,实现系统性能优化的目标。

关键词：海量数据存储云存储 Hadoop集群 LoadRunner 性能测试性能优化

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Hadoop平台下的海量数据存储技术研究

Hadoop平台下的海量数据存储技术研究

作者：邰建华东北石油大学

学位级别：硕士

随着互联网的发展、互联网用户的增加，互联网中的图片数据也急剧膨胀。企业的图片数据规模可达TB到几百TB。一般情况下使用分布式文件系统来处理这些图片。 Hadoop是近年来出现的处理海量数据的分布式系统。具有可靠性好、存储容量大... 详细信息

随着互联网的发展、互联网用户的增加，互联网中的图片数据也急剧膨胀。企业的图片数据规模可达TB到几百TB。一般情况下使用分布式文件系统来处理这些图片。 Hadoop是近年来出现的处理海量数据的分布式系统。具有可靠性好、存储容量大、部署简单、可维护性更好等特点。基于以上两点，本文对Hadoop在图片存储方面的性能做了相应的研究，设计了针对中小企业的基于Hadoop平台的图片存储系统。具体研究内容如下： ***平台的工作原理从数据组织、数据流等几个方面比较深入地研究了Hadoop平台中数据的存放、读写原理。还研究了分布式计算框架MapReduce的工作过程。 2．基于Hadoop平台的图片存储系统的设计根据需求分析，将系统的功能设计为普通用户模块、管理员模块、日志分析模块、客户端和系统监控等模块。结合Hadoop、Tomcat、Mysql等软件完成了系统的架构设计。根据系统的功能设计了UML类图，最后设计了Mysql数据库的表。 3．图片存储系统的实现首先搭建了Hadoop集群，接下来完成了系统各部分的实现过程。重点实现了对Hadoop的操作和日志分析部分。 ***平台和Web的整合本人在研究Hadoop和JSP的基础上，对二者进行了整合，即可以通过JSP页面来访问Hadoop存储的图片文件。最后综合本文的研究，提出相应的测试方法，来验证系统的性能和可靠性。

关键词： Hadoop 分布式文件系统海量数据存储

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于分布式系统的海量数据存储技术

周口师范学院学报 2013年第5期30卷 125-128页

作者：秦东霞周航周口师范学院计算机科学与技术学院河南周口466001

随着计算机技术和网络的快速发展,传统的数据存储与管理模式已经很难满足日益增长的数据在很多方面的需求,如何高效存储海量数据成为一个研究热点.通过对分布式计算的BigTable,NFS,MapReduce等几个典型算法的研究,分析了各个算法在海量... 详细信息

随着计算机技术和网络的快速发展,传统的数据存储与管理模式已经很难满足日益增长的数据在很多方面的需求,如何高效存储海量数据成为一个研究热点.通过对分布式计算的BigTable,NFS,MapReduce等几个典型算法的研究,分析了各个算法在海量数据存储中的优劣和应用环境,同时对分布式环境下海量数据的存储在不同领域中的应用进行描述,最后对海量数据存储未来发展的趋势进行了展望.

关键词：海量数据存储分布式系统 BigTable NFS MapReduce