检索结果-南通市图书馆

北京邮电大学学报 2013年第4期36卷 76-80页

作者：宋杰李甜甜闫振兴朱志良东北大学软件学院沈阳110819

广泛用于数据密集型计算的MapReduce模型将计算部署到数据端并行执行,数据布局将不再只影响存储本身,还影响计算效率;节点上存储数据的特征决定该节点上任务的执行效率,负载均衡从传统的服务器管理或任务调度研究转变成为以提高并行性... 详细信息

广泛用于数据密集型计算的MapReduce模型将计算部署到数据端并行执行,数据布局将不再只影响存储本身,还影响计算效率;节点上存储数据的特征决定该节点上任务的执行效率,负载均衡从传统的服务器管理或任务调度研究转变成为以提高并行性为目的的数据布局研究,为此,分析了数据密集型计算和MapReduce环境中数据布局的特点,提出了负载均衡的数据布局目标,并提出在特定环境下实现负载均衡的数据布局方法,最后通过实验证明了数据布局目标和数据布局方法的有效性.理论和实验结果证明,新提出的布局方法能有效地提高MapReduce应用的并行性,优化其执行效率.

关键词：数据密集型计算数据布局负载均衡 mapredcue 云计算

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

异构云环境下MapReduce高效性的优化研究

引用

科学技术与工程 2014年第31期22卷 73-77页

作者：黄伟建周鸣爱杜巍河北工程大学信息与电气工程学院邯郸056038

为提高MapReduce在异构云计算环境下的执行效率,提出一种异构环境下基于负载类型的自适应调度算法——adaptive scheduler based on workload type in heterogeneous environment(ASBT-HE),通过反馈运行结果到Job Tracker,将后续任务根据负载类型分配到相应的Task Trackers上。但为满足用户的Qo S需求、更好的平衡系统负载,将该算进一步法优化为Better ASBT-HE(BASBT-HE)。BASBT-HE能够在考虑Qo S约束的基础上根据负载情况自动调整ASBT-HE中队列的长度。仿真实验结果表明优化后的MapReduce在异构云计算环境下具有高效性,并且考虑了用户Qo S需求,简化了系统参数配置。

关键词：云计算 mapredcue 调度算法高效性优化

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

云计算中的MapReduce并行编程模式研究

云计算中的MapReduce并行编程模式研究

引用

作者：吴贵鑫河南理工大学

学位级别：硕士

云计算是并行计算、分布式计算和网格计算的发展,使并行技术走进了人们的生活。云计算、个人高性能计算机(PHPC)等技术的深入发展,使许多技术人员开始从单机工作模式向并行计算模式转变。云计算的逐步普及使并行程序设计成为许多程序设... 详细信息

云计算是并行计算、分布式计算和网格计算的发展,使并行技术走进了人们的生活。云计算、个人高性能计算机(PHPC)等技术的深入发展,使许多技术人员开始从单机工作模式向并行计算模式转变。云计算的逐步普及使并行程序设计成为许多程序设计人员必须面对和解决的一个关键性问题。Google提出的MapReduce并行编程模式极大的降低了并行程序的开发难度。与传统的分布式程序设计相比,MapReduce封装了并行处理、容错处理、本地化计算、负载均衡等细节,还提供了一个简单而强大的编程接口,极大的简化了并行程序设计的难度。本文首先介绍了云计算的概念、基本理论和研究现状,阐述了几种传统的并行编程模式,分析和研究的它们的原理和发展。对Google云计算和Hadoop云计算架构进行了简要的介绍,并将MapReduce与MPI进行比较,研究两者的区别与各自优势。文中详细地阐述了MapReduce的编程思想,分析和研究了MapReduce解决问题的工作原理、具体步骤和方法。介绍了MapReduce的容错机制,并对MapReduce作业的调度算法进行了详细的分析。研究了MapReduce在异构Hadoop集群环境下的性能差异,分析了异构环境对MapReduce性能的影响。本文提出一种新的数据分配机制HDDM,以集群中各异构节点的计算比率为依据来分配输入文件,提高了MapReduce在异构Hadoop集群中的性能。最后通过实验证明,我们提出的数据分配机制HDDM能够极大的提高MapReduce程序的执行效率。

关键词：云计算 mapredcue 并行编程数据分配 Hadoop 异构集群

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向大数据集成的实体识别框架及关键技术的研究

面向大数据集成的实体识别框架及关键技术的研究

引用

作者：王冕东北大学

学位级别：硕士

现代互联网每日产生大量的数据,引发了对大规模数据的处理的需求。面对海量的数据,提出了新形式的分布式文件存储系统,并且基于文件系统之上提出了并行的计算方式解决大数据带来的计算效率的挑战。最具代表的是Google提出的MapReduce并... 详细信息

现代互联网每日产生大量的数据,引发了对大规模数据的处理的需求。面对海量的数据,提出了新形式的分布式文件存储系统,并且基于文件系统之上提出了并行的计算方式解决大数据带来的计算效率的挑战。最具代表的是Google提出的MapReduce并行编程框架,使得很多基于大数据的最常见计算能够在大规模计算集群中得以高效的实现。实体识别(Entity Resolution)是指在判断一个或多个数据源中两个不同记录是否描述相同实体,它有时也被称作记录连接(Record Linkage),在数据集成中被用于数据清洗(Data Clean)、去重(Deduplication)和相似连接(Similarity Joins)等集成操作中。实体识别技术可被广泛应用于人口普查、引文识别、Web搜索、数据清洗以及剽窃检验等诸多领域。然而随着数据集规模的日益增大,集中式处理几百GB数据时已经出现性能瓶颈,更不用说TB、PB级别。由于实体识别本身可以采用并行计算模型进行处理,因此采用MapReduce分布式计算模型能够很好地处理大规模数据集上的实体识别问题,提高执行效率本文提出了基于MapReduce的实体识别框架VEER,其中包含三个处理阶段。第一个阶段VEER从一组数据源中发现所有满足阈值的相似记录对。这个工作是基于相似连接算法的。第二个阶段划分所有的相似记录对,形成相似子图集合。第三个阶段利用ICAR原则合并每个相似子图中的实体。VEER框架允许实体识别任务从任何一个阶段开始运行,以适应不同需求的应用。为了提高实体识别框架对大数据的处理效率,本文重点研究了分布式相似连接算法和任务调度策略两个问题。针对分布式相似连接,本文提出了基于前缀与位置信息的过率算法,通过降低记录间匹配数量提高执行效率。针对本框架的不同处理阶段,本文分别提出了面向负载均衡和子图构建的任务调度算法,从而提高MapReduce任务的执行效率。本文丛于Hadoop系统和VEER框架实现了实体识别原形系统。该原型系统在为用户提供了友好的交互界面同时,能够有效地提高相似连接的的过滤性能和集群的利用率。对于本文提出的基于MapReduce框架的相似连接算法和调度策略,本文在VEER实体识别原型系统上采用DBLP和Citeseerx的真实数据集进行了实验。通过实验,我们比较了不同相似连接算法在时间代价以及集群的利用率上的性能。实验结果表明本文的算法能够稳定地的运行在集群中,每个单点的执行负载基本相同,整体的运行效率随着数据规模的增加会有显著提高。本文的VEER实体识别工具能够很好地执行MapReduce集群调度,为用户提供了直观、有好的用户界面,支持高效的MapReduce任务管理,以及高效的实体识别处理和结果输出。

关键词：实体识别相似度计算 mapredcue 负载均衡相似连接

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

MapReduce的数据集成系统的设计与实现

MapReduce的数据集成系统的设计与实现

引用

作者：张弘韬东北大学

学位级别：硕士

随着信息化的推进和计算机技术的发展,数据密集型应用不断的产生,大量甚至海量的数据被分析计算以获取具有某种价值的信息。构建数据仓库系统,对海量的分散的异构的数据进行集成,是企业机构分析获取更多有用信息的一种方式,传统数据集... 详细信息

随着信息化的推进和计算机技术的发展,数据密集型应用不断的产生,大量甚至海量的数据被分析计算以获取具有某种价值的信息。构建数据仓库系统,对海量的分散的异构的数据进行集成,是企业机构分析获取更多有用信息的一种方式,传统数据集成在处理源数据时需要设置一个中央节点,对分散异构的源数据进行连接汇总等集成操作,并将集成数据存放至分布式的数据仓库中,这种模式在数据海量的环境中,中央节点的计算是集成的瓶颈,同时产生大量的数据迁移,这种模式显然是低效的,无法满足海量数据环境中的数据集成需求。本文为了解决海量数据给数据集成带来的挑战,参考MapReduce的分布式并行计算模型,提出了一种分布式并行数据集成方法,重点关注数据集成过程中的连接、汇总等操作,将数据集成计算分布至源数据节点,并行地执行,消除了在中央节点进行计算的限制,并且根据连接操作在MapReduce函数中的执行方式不同提出了四种不同的集成策略,给出了一种I/O代价模型,并据此对四种集成策略进行评价选择。同时设计了适用于对集成后数据并行分析处理的数据布局策略,重点关注于集成后的数据在数据仓库中的各个节点的分布位置、数据量的均衡性以及数据值域分布的均衡性,尽可能为后续分析提供更优的数据位置和更好的并行性。本文基于Hadoop环境,实现了论文提出的分布式并行数据集成算法,并设计了一系列的数据集成实验,验证了本文提出的集成策略的可行性与策略I/O代价的正确性,并且模拟了数据集成后的布局策略,得到了数据均衡分布的结果,与期望结果相匹配。本文提出的分布式并行数据集成方法是MapReduce模型在海量数据分析的另一类应用,是分布式计算在数据集成方向的一种实践,解决海量数据集成中的并行性差和数据迁移代价大的问题,具有理论和实践上的探索意义。

关键词： Hadoop mapredcue 云计算数据密集型计算数据集成数据布局 I/O代价

来源：

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于云计算的校园网综合数据服务平台设计

引用

电脑编程技巧与维护 2014年第18期 43-44页

作者：彭劲杰中共湖南省委党校长沙410006

随着高校教育信息化建设的不断深入,校园网中的各种软硬件资源越来越多,同时用户对基于"云"+"端"的服务需求日益迫切,有效整合资源,增强业务协同,就成为了校园网服务工作的重中之重。在充分考虑到高校基于"云"+"端"服务的需求基础上,综... 详细信息

随着高校教育信息化建设的不断深入,校园网中的各种软硬件资源越来越多,同时用户对基于"云"+"端"的服务需求日益迫切,有效整合资源,增强业务协同,就成为了校园网服务工作的重中之重。在充分考虑到高校基于"云"+"端"服务的需求基础上,综合运用云计算技术,设计了一个基于云计算的校园网综合数据服务平台。

关键词：校园网云计算分布式文件系统 mapredcue

来源：

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

欢迎您,

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案：

请选择收藏分类：

通借通还

欢迎您,

建议与咨询 留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

时间限定

文献类型

馆藏选择

核心期刊

语言

文献类型

帮助

文字说明：

检索规则说明：

检索范例：

分类表

所选分类

限定检索结果

文献类型

馆藏范围

日期分布

学科分类号

主题

机构

作者

语言

在线全文

在线全文

在线全文

在线全文

在线全文

在线全文

请选择保存的检索档案： 新增检索档案 确定 取消

请选择收藏分类： 新增自定义分类 确定 取消

通借通还

建议与咨询留下您的常用邮箱和电话号码，以便我们向您反馈解决方案和替代方法

请选择保存的检索档案：

请选择收藏分类：