基于Hadoop分布式文件系统的地震勘探大数据样本采集及存储优化

作     者：杨河山 张世明 曹小朋 李春雷 姜兴兴 YANG Heshan;ZHANG Shiming;CAO Xiaopeng;LI Chunlei;JIANG Xingxing

作者机构：中国石化胜利油田分公司勘探开发研究院山东东营257015 中国石化胜利油田分公司胜利采油厂山东东营257051 

出 版 物：《油气地质与采收率》 (Petroleum Geology and Recovery Efficiency)

年 卷 期：2022年第29卷第1期

页      面：121-127页

核心收录：

学科分类：0820[工学-石油与天然气工程] 08[工学] 082002[工学-油气田开发工程] 

基　　金：中国石化科技攻关项目“老油田开发大数据应用系统集成与示范应用”(P20071-4) 

主　　题：HDFS 地震勘探 大数据 样本采集 存储优化 

摘      要：随着油气勘探开发智能化应用越来越成熟、应用场景越来越丰富,大规模应用日益临近,样本的分布式存储、高效采集及并行计算已成为油气勘探开发智能化应用的迫切需求。地震勘探的智能化是油气勘探开发智能化的重要组成部分。针对地震勘探数据具有的单一文件数据量大、非结构化的特点,在分析地震勘探大数据样本采集需求的基础上,提出基于Hadoop分布式文件系统(HDFS)的大文件分割和合并的解决方案,并对地震勘探数据生成3个不同维度的冗余存储,以提升地震勘探样本的采集效率。测试结果表明,基于HDFS的三倍冗余存储方案在数据量迅速增大的情况下,可以有效地提高地震勘探大数据样本的采集效率,从而满足地震勘探智能化应用需求。