HBase数据库监控系统的设计与实现

作     者：郭丽斯 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：罗新龙

授予年度：2018年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 080401[工学-精密仪器及机械] 0804[工学-仪器科学与技术] 080402[工学-测试计量技术及仪器] 0838[工学-公安技术] 

主      题：数据库监控 HBase数据库 决策树 故障预警 

摘      要：随着大数据时代的到来,数据量的快速增长和数据的多样化都给数据存储带来了新的挑战。分布式数据库HBase由于其高性能和高可靠性成为海量数据时代存储数据的重要工具,而HBase数据库的正常运行则是保证数据存储安全性的重要保障,设计一个合理的HBase数据库监控系统,具有重要的现实意义。基本的性能监控能够使管理人员清晰地观察整个集群各个节点的运行情况、运行趋势和性能瓶颈;而异常告警能够及时提醒管理人员解决问题,最大程度地减小损失,为数据库的合理使用提供参考。本文针对中国移动设计院实际生产项目对HBase数据库监控的需求,提出了一套包含性能监控、异常告警功能模块的解决方案,设计了灵活可扩展的监控代理采集HBase数据库性能信息、服务器硬件信息和网络连通性信息,采用SSM架构设计监控服务器完成数据存储、异常告警、统计分析等功能,设计了灵活的数据库表存储数据以及简洁明了的监控显示层展现数据库集群最新运行情况和历史数据,并根据实际运行过程中出现的问题提出了减少SQL查询、日志优化、保留近期历史数据的优化方案。另外,在系统运行的基础上,进行了基于决策树的监控系统故障预警研究,提出了基于决策树的故障预警方案,并提出了改进的决策树算法。实际运行情况表明,该监控系统能够有效监控HBase数据库的状态,灵活扩展监控指标,及时发出异常告警,提高了运维人员的工作效率,保障了项目的顺利运行。另外,基于决策树的故障预警比人工设定的告警条件效果更好,而改进的决策树也能进一步提高决策的精度。