基于Ganglia的Hadoop集群监控系统研究

作     者：孙世伟 

作者单位：哈尔滨工程大学 

学位级别：硕士

导师姓名：刘心;孙世峰

授予年度：2015年

学科分类：08[工学] 0804[工学-仪器科学与技术] 

主      题：云计算 Hadoop 集群监控系统 Ganglia Nagios HBase 

摘      要：随着云计算的快速发展,分布式集群系统也被广泛应用,发展云计算技术已经成为我国重要的经济和科技发展战略之一,研究和发展云计算技术并将原有信息化数据向云计算平台迁移,是未来十年政府信息化建设的主流方向。Hadoop作为高效的数据分析与数据挖掘的软件,已经成为云计算平台不可或缺的一部分。云计算提供的服务越来越多,需要处理的数据量和种类不断增加,同时对于数据处理结果的快速性和准确性要求越来越高增加,所以对云计算平台的监控就显得非常必要。数据量的增加导致Hadoop自带的监控系统已经无法满足对资源的有效监控,现有的监控软件只能分别的监控不同平台、不同系统的各种应用以及服务,无法对云平台的所有资源进行全面监控。为解决这个问题,本文利用Ganglia监控软件,设计并开发实现Hadoop集群监控系统,主要研究工作如下:1)利用Ganglia实现对Hadoop集群系统的监控。通过对每个节点之上部署Gmond客户端收集节点监控数据,Gmetad汇总收集信息传递到RRDTool中,最终利用RRDTool的绘图功能把监控信息以图表形式通过Web界面展现给管理人员。2)利用Nagios实现警告服务。通过对Nagios中监控时段、监控联系人、主机与主机组、服务与服务组等配置文件的修改,使集群监控系统能够实现通过界面、邮件或者短信的方式,即使管理者不在监控系统之前,也能够收到警告信息。3)实现数据的持久化存储。RRDTool数据库是一个环形数据库,存储容量有限,利用HBase的Java API接口把RRDTool数据库中的数据转移到HBase之中,从而实现数据的持久化存储。4)对集群的监控效果进行验证。在监控系统部署实施完成之后,对需求分析中所要达到的监控效果,如数据块的监控、节点任务的监控、邮件警报服务和短信警报服务进行验证,对显示丢包率和三种警报方式的反应时间做了具体的数据测试,确认所设计的监控系统满足系统监控需求。