云海大数据一体机体系结构和关键技术

作     者：张东 亓开元 吴楠 辛国茂 刘正伟 颜秉珩 郭锋 Zhang Dong;Qi Kaiyuan;Wu Nan;Xin Guomao;Liu Zhengwei;Yan Bingheng;Guo Feng

作者机构：高效能服务器和存储技术国家重点实验室济南250101 浪潮电子信息产业股份有限公司济南250101 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2016年第53卷第2期

页      面：374-389页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 

基　　金：国家"八六三"高技术研究发展计划基金项目(2015AA050203) "核高基"国家科技重大专项(2013ZX01039002)~~ 

主　　题：大数据一体机 可扩展性 可定制性 混合型软件架构 大数据行业应用 

摘      要：为了弥补从大数据技术到行业应用之间的鸿沟,针对当前行业用户对大数据处理平台的持续扩展、一体化和多样性需求,提出了大数据一体机的可扩展性、可定制性和多类型处理模型,并基于此设计了云海大数据一体机.该一体机采用兼顾横向和纵向可扩展的体系结构,并采用硬件可定制化设计和混合型软件架构支持多种大数据应用类型.在此基础上,针对HDFS元数据服务瓶颈问题、MapReduce负载倾斜问题、HBase的跨域问题,介绍了在云海大数据一体机中采用的多元数据服务、负载均衡和跨数据中心大表技术.在电信、金融和环保行业实际案例中的应用和测试表明,上述体系结构和关键技术是可行和有效的.