基于Apache Spark的地震观测数据噪声功率谱计算
Noise Power Spectrum Calculation Method of Seismic Data Based on Apache Spark作者机构：中国科学院计算机网络信息中心北京100190 中国科学院大学北京100049 中国地震台网中心北京100045 太原理工大学太原030024
出 版 物：《计算机系统应用》 (Computer Systems & Applications)
年 卷 期：2021年第30卷第8期
页 面：126-132页
学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 070801[理学-固体地球物理学] 07[理学] 0708[理学-地球物理学]
基 金：国家重点研发计划(2018YFC1504500) 中国地震局监测、预报、科研三结合课题(3JH-20200207)
主 题：地震观测数据 噪声功率谱 Spark Hadoop 分布式
摘 要：为解决单机环境下海量地震观测数据计算和分析效率低下的问题,提出一种基于分布式架构的地震观测数据的存储、计算和分析处理方法,选择噪声功率谱复杂计算过程的应用场景进行实现.基于Hadoop在海量数据处理上的性能优势,在分布式文件存储系统HDFS上进行地震观测数据的存储和调度,研究测震数据噪声功率谱的质量评估方法在Spark分布式计算架构上的实现,采用弹性数据集Spark RDD将计算任务自动分配到计算节点,解析存储在HDFS中的测震波形数据,计算结果采用RowKey方式放入分布式数据库HBase中,实现了长周期地震噪声功率谱结果的存储和提取.计算结果表明,基于Spark分布式架构的该方法可以支撑TB级海量数据的处理,并且具有较高的处理效率,可应用于海量地震观测数据的分析计算.
维普期刊数据库
同方期刊数据库