基于Hadoop交通信息并行处理云系统设计

作     者：赵健 连玮 ZHAO Jian;LIAN Wei

作者机构：长治学院山西长治046011 

出 版 物：《现代电子技术》 (Modern Electronics Technique)

年 卷 期：2021年第44卷第10期

页      面：47-51页

学科分类：0810[工学-信息与通信工程] 08[工学] 

基　　金：国家自然科学基金项目(61773002)。 

主　　题：云系统设计 交通信息 并行处理 Hadoop技术 模块设计 数据分析 数据处理 

摘      要：针对传统交通信息存储和处理不断增加的交通数据所暴漏出来的问题,设计基于Hadoop交通信息并行处理云系统。首先,对Hadoop分布式并行计算框架进行设计,要求框架具备良好容错性、扩展性和可靠性,能够对数据批量写入。并且分析框架的体系结构,将此框架作为基础设计系统架构,其主要包括数据采集层、应用层、存储层与分析层,对数据进行分析,并且在计算机集群中存储。之后,设计系统的模块,包括数据接入、数据存储、交通应用和数据处理等模块。通过实时数据处理实现数据传输,利用数据接入、核心计算和存储创建实时处理模块,并且对数据进行预处理。最后,对设计的系统进行验证。通过验证表明,所提系统使用效果良好,能够对交通信息进行有效分析与存储,使信息监控效率得到提高。