大数据负载的体系结构特征分析

作     者：罗建平 谢梦瑶 王华锋 LUO Jian-ping;XIE Meng-yao;WANG Hua-feng

作者机构：中国科学院计算技术研究所先进计算机系统研究中心北京100190 北京航空航天大学软件学院北京100910 郑州大学信息工程学院郑州450001 

出 版 物：《计算机科学》 (Computer Science)

年 卷 期：2015年第42卷第11期

页      面：48-52页

学科分类：081203[工学-计算机应用技术] 08[工学] 0835[工学-软件工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家重点基础研究发展规划项目(2014CB340402) 国家自然科学基金(61303054)资助 

主　　题：大数据 大数据负载 体系结构特征 应用程序 

摘      要：针对大数据离线分析类和交互式查询类负载,首先对这些负载的一些共性进行分析,提取出公共操作集,并对它们进行分组整理;然后在大数据平台上测试这些负载运行过程中的微体系结构特征,采用PCA和SimpleKMeans算法对这些体系结构特征参数进行降维和聚类处理。实验分析结果表明负载之间有公共的操作集,如Join和Cross Production;有些负载有相似的属性,如Difference和Projection共享相同的微体系结构特征。实验结果对于处理器等硬件平台的设计以及应用程序的优化具有指导性的意义,并且为大数据基准测试平台的设计提供了参考。