基于向量引用Platform-Oblivious内存连接优化技术

作     者：张延松 张宇 王珊 ZHANG Yan-Song;ZHANG Yu;WANG Shan

作者机构：数据工程与知识工程教育部重点实验室(中国人民大学)北京100872 中国人民大学信息学院北京100872 中国人民大学中国调查与数据中心北京100872 国家卫星气象中心北京100081 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2018年第29卷第3期

页      面：883-895页

核心收录：

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61732014 61772533) 国家高技术研究发展计划(863)(2015AA015307) 中央高校基本科研业务费专项资金(16XNLQ02) 

主　　题：内存连接操作 哈希连接 向量映射 异构处理器平台 

摘      要：以MapD为代表的图分析数据库系统通过GPU、Phi等新型众核处理器来支持高性能分析处理,在面向复杂数据模式时,连接操作仍然是重要的性能瓶颈.近年来,异构处理器逐渐成为高性能计算的主流平台,内存连接性能的研究从多核CPU平台扩展到新兴的众核处理器,但众多的研究成果并未系统地揭示连接算法性能、连接数据集大小、硬件架构之间的内在联系,难以为未来异构处理器平台的数据库提供连接平台优化选择策略.以面向多核CPU、Xeon Phi、GPU处理器平台的内存连接优化技术为目标,通过优化内存哈希表设计,实现以向量映射替代哈希映射操作,消除哈希代价对内存连接算法的影响,从而更加准确地测量内存连接算法在多核CPU的cache大小、Xeon Phi的cache大小、Xeon Phi的并发多线程、GPU的SIMT(单指令多线程)机制等硬件相关因素影响下的性能特征.实验结果表明,缓存与并发多线程机制是提高内存连接算法性能的重要影响因素.缓存机制对于满足cache大小的连接操作具有性能优势,而GPU的并发多线程机制则在较大表的连接操作中具有较高的性能,Xeon Phi则在满足其L2 cache大小的连接操作中具有最高性能.实验结果揭示了内存连接操作性能与异构处理器硬件特性的联系,为未来异构处理器平台内存数据库查询优化器提供了优化策略.