一种基于自动分区的海量科学数据计算框架

作     者：田杨 晏海华 TIAN Yang;YAN Haihua

作者机构：北京航空航天大学计算机学院北京100083 

出 版 物：《北京航空航天大学学报》 (Journal of Beijing University of Aeronautics and Astronautics)

年 卷 期：2022年第48卷第6期

页      面：1004-1012页

核心收录：

学科分类：07[理学] 08[工学] 082501[工学-飞行器设计] 0835[工学-软件工程] 0825[工学-航空宇航科学与技术] 0702[理学-物理学] 

主　　题：科学数据 模型驱动 分区算法 叠前时间偏移 软件工程 Spark 

摘      要：在科学研究领域,存储容量、处理效率和分析精度并不能适应科学数据的指数级增长速度。通过对科学数据结构与标准的研究,提出了一个海量科学数据计算框架BSDF。提出了一种基于模型驱动的统一数据接口,实现对异构科学数据的无差别访问;提出了一种基于元数据的自动分区算法,通过参数预取与超平面维度计算确定任务颗粒度。实验结果表明:与H5Spark科学数据计算框架的基于9项基准测试的性能相比,BSDF计算框架提升了39%~68%;在特定领域PKTM的算法优化上,BSDF达到了41.62倍的加速比。