检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

hadoop集群中影响应用性能的因素分析

小型微型计算机系统 2018年第4期39卷 719-724页

作者：马生俊陈旺虎郭宏乐乔保民李新田西北师范大学计算机科学与工程学院兰州730070

针对hadoop集群中应用执行的低效率、高成本问题,首先,通过对hadoop分布式存储技术和并行编程模型的分析,发现数据集采用单文件还是多文件方式,以及数据块划分的大小是影响其性能的主要因素.其次,设计实验探讨了不同规模集群环境下,两... 详细信息

针对hadoop集群中应用执行的低效率、高成本问题,首先,通过对hadoop分布式存储技术和并行编程模型的分析,发现数据集采用单文件还是多文件方式,以及数据块划分的大小是影响其性能的主要因素.其次,设计实验探讨了不同规模集群环境下,两类数据集以及不同大小的数据块对应用性能的影响程度.最后,综合实验结果发现,在数据量一定的情况下,随着数据块的增大,map任务数的变化导致大文件数据集的执行效率越来越高于小文件数据集的执行效率;另外,两类数据集在小规模集群(1个Slave)上的执行效率大约均是大规模集群(10个Slave)下的2倍.故此,在hadoop集群环境中为了提高应用性能,应通过增大数据块等方法来减少map任务数,而不应盲目增大集群规模.该结论可对hadoop集群环境下应用效率的优化提供参考.

关键词： hadoop集群性能集群规模数据块数据集类型因素分析

基于节点能力的hadoop集群任务自适应调度方法

在线全文

学校读者我要写书评

暂无评论

计算机研究与发展 2014年第3期51卷 618-626页

作者：郑晓薇项明张大为刘青昆辽宁师范大学计算机与信息技术学院辽宁大连116081

针对当前hadoop集群固有的任务级调度分配方法在运行中存在的负载分布不均的现象,着重对集群节点的执行能力进行了分析与研究.提出了一种基于节点能力的任务自适应调度分配方法.该方法根据节点历史和当前的负载状态,以节点性能、任务特... 详细信息

针对当前hadoop集群固有的任务级调度分配方法在运行中存在的负载分布不均的现象,着重对集群节点的执行能力进行了分析与研究.提出了一种基于节点能力的任务自适应调度分配方法.该方法根据节点历史和当前的负载状态,以节点性能、任务特征、节点失效率等作为节点任务量调度分配的依据,并使各节点能自适应地对运行的任务量进行调整.实验结果表明集群的总任务完成时间明显地缩减,各节点的负载更加均衡,节点资源的利用更为合理.

关键词： hadoop集群任务级调度方法执行能力节点能力自适应

hadoop集群异常节点实时检测与诊断算法

在线全文

学校读者我要写书评

暂无评论

陕西理工大学学报（自然科学版） 2021年第4期37卷 24-31页

作者：潘伟博汪海涛姜瑛陈星田帅昆明理工大学信息工程与自动化学院云南昆明650500

针对hadoop集群节点增加导致任务运行效率降低,以及异常节点会拖慢整体作业进度的问题,提出了一种hadoop集群异常节点实时检测与诊断算法。首先基于正常状态下节点性能相似性原理,使用Logstash工具收集hadoop集群节点运行日志中的任务... 详细信息

针对hadoop集群节点增加导致任务运行效率降低,以及异常节点会拖慢整体作业进度的问题,提出了一种hadoop集群异常节点实时检测与诊断算法。首先基于正常状态下节点性能相似性原理,使用Logstash工具收集hadoop集群节点运行日志中的任务状态信息;其次,发现异常节点后,通过Perf性能分析工具收集体系结构性能信息,再利用异常节点诊断算法诊断导致该节点异常的原因。通过实时流计算框架Spark Streaming构建了异常节点实时检测与诊断模型,并设计了一系列的实验验证了本算法的有效性。

关键词： hadoop集群异常节点实时检测诊断原因

减少hadoop集群中网络队头阻塞的调度算法

在线全文

学校读者我要写书评

暂无评论

计算机科学 2022年第3期49卷 11-22页

作者：田冰川田臣周宇航陈贵海窦万春南京大学计算机科学与技术系南京210023

大数据分析系统的用户希望任务的执行时间尽可能短。然而,在任务执行期间,网络与计算时刻都可能成为阻碍任务执行的资源瓶颈。通过对大数据分析系统的观察与分析,得出如下结论:1)根据当前资源瓶颈的不同,数据并行框架应当在多种工作模... 详细信息

大数据分析系统的用户希望任务的执行时间尽可能短。然而,在任务执行期间,网络与计算时刻都可能成为阻碍任务执行的资源瓶颈。通过对大数据分析系统的观察与分析,得出如下结论:1)根据当前资源瓶颈的不同,数据并行框架应当在多种工作模式之间切换;2)子任务的调度应当充分考虑将来可能到达的新任务,而不能仅考虑当前已经提交的任务。基于上述观察,设计并实现了全新的任务调度系统Duopoly,其由感知计算资源的网络调度器cans与感知网络资源的子任务调度器nats两部分组成。通过小规模物理集群与大规模仿真实验对Duopoly的效果进行评估,实验结果表明,与现有工作相比,Duopoly可以将平均任务完成时间缩短37.30%~76.16%。

关键词： hadoop集群队头阻塞网络调度任务调度

在线全文

学校读者我要写书评

暂无评论

一种hadoop集群下的行为异常检测方法

计算机工程与科学 2017年第12期39卷 2185-2191页

作者：蔡武越王珂郝玉洁段晓冉教育部考试中心北京100084 电子科技大学计算机科学与工程学院四川成都611731

随着分布式计算技术的发展,hadoop成为大规模数据处理领域的典型代表,由于安全机制相对薄弱,缺少用户行为活动的监控,容易受到隐藏的安全威胁,如数据泄露等。结合主成分分析计算的特点,基于MapReduce对其做并行化处理,克服了传统主成分... 详细信息

随着分布式计算技术的发展,hadoop成为大规模数据处理领域的典型代表,由于安全机制相对薄弱,缺少用户行为活动的监控,容易受到隐藏的安全威胁,如数据泄露等。结合主成分分析计算的特点,基于MapReduce对其做并行化处理,克服了传统主成分分析计算的缺点,提高了模型训练效率。提出了一种基于并行化主成分分析的异常行为检测方法,即比较当前用户的行为模式是否与历史行为模式相匹配作为判定用户行为异常与否的度量标准。实验表明该方法能够较好地发现用户的异常行为。

关键词： hadoop集群主成分分析异常检测 MapReduce 行为模式

在线全文

学校读者我要写书评

暂无评论

hadoop集群性能优化技术研究

电脑知识与技术 2011年第8期7卷 5484-5486页

作者：辛大欣刘飞西安工业大学陕西西安710032

hadoop技术已经在互联网领域得到广泛的应用,同时也得到了学术界的普遍关注。该文介绍了hadoop作为基础数据处理平台仍然存在的问题,阐明了hadoop性能优化技术研究的必然性,并介绍了当前hadoop优化的三个主要思路：从应用程序角度进行... 详细信息

hadoop技术已经在互联网领域得到广泛的应用,同时也得到了学术界的普遍关注。该文介绍了hadoop作为基础数据处理平台仍然存在的问题,阐明了hadoop性能优化技术研究的必然性,并介绍了当前hadoop优化的三个主要思路：从应用程序角度进行优化、对hadoop系统参数进行优化和对hadoop作业调度算法进行优化。hadoop集群优化对于提高系统性能和执行效率具有重大的意义。

关键词： hadoop集群性能优化配置参数作业调度

在线全文

学校读者我要写书评

暂无评论

hadoop集群服务监控预警系统的实现

工业控制计算机 2023年第3期36卷 54-55页

作者：朱海伟中国石油化工股份有限公司石油物探技术研究院江苏南京211103

介绍了一种用于hadoop集群自动化监控、预警系统的实现。通过获取集群节点的内存、CPU、磁盘信息统计节点系统信息,同时统计集群各类hadoop基础服务的基础信息,如服务的内存使用、存活状态等。系统对收集的信息做异常信息处理与告警,自... 详细信息

介绍了一种用于hadoop集群自动化监控、预警系统的实现。通过获取集群节点的内存、CPU、磁盘信息统计节点系统信息,同时统计集群各类hadoop基础服务的基础信息,如服务的内存使用、存活状态等。系统对收集的信息做异常信息处理与告警,自动推送给系统运维,极大提高了运维的响应速度,缩短问题定位、解决周期。

关键词： hadoop集群监控自动告警

基于Cox比例风险模型的hadoop集群可靠性分析

在线全文

学校读者我要写书评

暂无评论

基于Cox比例风险模型的Hadoop集群可靠性分析

作者：李浩青天津理工大学

学位级别：硕士

当今,hadoop集群在大数据时代下已经广泛使用,互联网公司对数据的处理和分析广泛使用hadoop集群。一旦hadoop集群失效,会导致数据的丢失,带来工作上的不便,甚至带来重大的经济损失。对国家和个人来说,hadoop集群的可靠性始终是一个令人... 详细信息

当今,hadoop集群在大数据时代下已经广泛使用,互联网公司对数据的处理和分析广泛使用hadoop集群。一旦hadoop集群失效,会导致数据的丢失,带来工作上的不便,甚至带来重大的经济损失。对国家和个人来说,hadoop集群的可靠性始终是一个令人头痛的问题。所以,hadoop集群的可靠性研究是十分必要的。在整个hadoop集群中,主要包括若干个数据节点和主节点。在对节点的可靠性分析时,软件的失效主要与负载有关,所以本文使用Cox比例风险模型来描述节点失效率与负载(累积负载和瞬时负载)的关系。在hadoop集群运行中,随着节点失效从而会导致软件降级。所以,hadoop集群的失效过程可以看成非齐次马尔可夫过程(NHMP)。该过程中,软件的负载随着时间的变化而变化,不是固定不变的。该过程可以分为若干个非连续的非齐次泊松过程(NHPP),该过程用来描述每个节点失效前的系统可靠性过程。在此基础之上,文中对hadoop集群的可靠性进行了分析。本论文提出的集群可靠性模型能够用于集群的设计与研究。最后,作者进行了一个评估实验展示了该方法的可行性。

关键词： hadoop集群可靠性 Cox比例风险模型 NHMP NHPP

基于马尔可夫过程的hadoop集群性能优化与平均寿命的研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于马尔可夫过程的Hadoop集群性能优化与平均寿命的研究

作者：李佳宣辽宁师范大学

学位级别：硕士

hadoop集群作为云计算、大数据技术的处理平台被广泛的应用于各种各样的领域,hadoop集群无论在商用或是科学研究方面都具有重要的价值。hadoop集群可以由若干台服务器构成不同的规模,以达到其低成本高性能的目的。但是,服务器节点机在... 详细信息

hadoop集群作为云计算、大数据技术的处理平台被广泛的应用于各种各样的领域,hadoop集群无论在商用或是科学研究方面都具有重要的价值。hadoop集群可以由若干台服务器构成不同的规模,以达到其低成本高性能的目的。但是,服务器节点机在连续长时间执行任务的过程中,会出现节点失效、网络阻塞、任务异常和任务执行时间过长等集群故障。集群故障会对集群造成不同程度的冲击与损害,造成故障概率频繁、集群利用率不合理、性能下降甚至集群寿命降低等现象。本文从降低集群故障的角度,提出了一种基于马尔可夫过程的hadoop集群性能预估优化模型POH(Prediction Optimization hadoop)。针对开源hadoop集群连续执行任务后节点机器易发故障现象,采取提前预估集群故障状态,根据集群故障趋势及时做出优化调整的策略。通过预判信息库收集节点有效信息,利用Markov链预估hadoop集群性能。按照预估结果从集群的任务并行度、HDFS数据块复制数和Name Node备份周期三个角度对hadoop集群进行优化调整。经实验结果对比表明,采用POH综合算法进行优化后,节点任务执行时间超长现象明显降低,故障次数大大减少。在相同任务量下,由于POH模型的任务平均读写速度得到提升,集群的平均资源利用率高于开源hadoop集群;集群故障时间和总任务执行时间均明显减少,也使得hadoop集群拥有较高的高可用性。优秀的hadoop集群应该拥有更加持久的集群平均寿命。因此,集群平均寿命可以作为hadoop集群性能的重要评价标准。本文针对该问题提出了一种基于Poisson过程的hadoop集群平均寿命预测方法。通过预测计算,及时对集群进行调整优化,使系统性能保持在正常状态。同时在三种不同特征类型的hadoop集群的实验中观察集群在任务执行过程中平均寿命的变化。实验结果表明,该方法能有效地判断hadoop集群故障发生的频率,预测出集群的平均寿命,对集群性能优劣进行评价。其预测结果也可以作为hadoop集群性能参数深度优化调整的有力根据。

关键词： hadoop集群马尔可夫随机过程预估优化模型集群故障平均寿命