基于聚类分析的进程拓扑映射优化

作     者：王涛 卿鹏 魏迪 漆锋滨 WANG Tao;QING Peng;WEI Di;QI Feng-Bin

作者机构：江南计算技术研究所江苏无锡214083 国家并行计算机工程技术研究中心北京100080 

出 版 物：《计算机学报》 (Chinese Journal of Computers)

年 卷 期：2015年第38卷第5期

页      面：1044-1055页

核心收录：

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家"八六三"高技术研究发展计划项目基金(2012AA010903)资助~~ 

主　　题：通信模式 物理拓扑 进程映射 谱聚类 MPI 

摘      要：高性能计算机系统规模的持续增大使通信墙问题越来越突出.逻辑进程与物理拓扑的映射优化方法能够提高应用的通信效率,已经成为高性能计算的研究热点之一.传统的进程映射优化模型由于映射粒度过细,导致映射效率低,且易破坏通信密集的进程簇的整体性.为此,文中提出了一种聚合的二次分配问题(Aggregated Quadratic Assignment Problem,AQAP)模型,并以AQAP模型为指导,提出了一种新颖的基于聚类分析的进程映射优化方法.该方法首先使用谱聚类算法对进程通信模式进行聚类分析,然后采用自适应聚合进程映射策略实现进程簇到物理拓扑的映射,最后使用聚合Pair-Exchange算法对进程簇映射进行进一步优化.文中提出的优化方法首次将谱聚类分析应用于进程映射问题,可以有效减少远距离通信,增强通信的局部性.NPB基准程序及两道实际应用的实验结果表明,文中提出的进程映射优化方法可以使程序获得明显的性能提升,优于现有的基于Pair-Exchange以及基于图划分的进程映射方法.