基于Hadoop技术的加速器大数据安全存储与高效分析系统设计

作     者：赵子晨 杨锋 郭玉辉 陈又新 李钊扬 刘海涛 ZHAO Zichen;YANG Feng;GUO Yuhui;CHEN Youxin;LI Zhaoyang;LIU Haitao

作者机构：中国科学院近代物理研究所甘肃兰州730000 中国科学院大学计算机科学与技术学院北京100049 

出 版 物：《现代电子技术》 (Modern Electronics Technique)

年 卷 期：2024年第47卷第8期

页      面：9-17页

学科分类：11[军事学] 0810[工学-信息与通信工程] 1105[军事学-军队指挥学] 08[工学] 082701[工学-核能科学与工程] 0827[工学-核科学与技术] 0835[工学-软件工程] 081002[工学-信号与信息处理] 110503[军事学-军事通信学] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：中国科学院战略性先导科技专项(B类)(XDB34010000) 

主　　题：数据仓库 Hadoop技术 加速器 大数据 安全存储 HBase ETL 

摘      要：为了解决当前加速器控制系统在数据管理方面所面临的海量数据安全存储和高效分析处理的问题,在现有的基础上引入了Hadoop大数据框架,并结合大数据其他相关组件,构建一个分布式数据仓库系统。文章详细阐述了数据仓库的搭建过程,包括软硬件架构以及将数据从现有数据库抽取、转换和加载到数据仓库的方案。特别是针对系统归档数据的存储和分析需求,根据实际应用场景设计一个基于HBase的存储解决方案。在系统部署完成后,进行了吞吐量测试,并与当前使用的传统数据库进行性能对比。测试结果显示,基于Hadoop的数据仓库系统在海量数据存储、高性能查询以及数据分析处理方面都表现出明显的优势。这一改进为加速器控制系统提供了更强大的数据管理和处理能力,有望为加速器在未来的发展提供更多可能性。