车联网大数据混合存储系统的设计与实现

作     者：蔡依婷 

作者单位：西安电子科技大学 

学位级别：硕士

导师姓名：张亮;万黎建

授予年度：2019年

学科分类：08[工学] 0838[工学-公安技术] 

主      题：车联网 大数据 混合存储 HBase 

摘      要：自2010年我国交通部将车联网建设列入国家重大专项项目以来,社会各界人士开始关注、推动、参与车联网在各城市交通体制中的部署落实。在这一背景下,本人参与了城市车辆智能防控系统的研发工作。本文以城市车辆智能防控系统为背景,聚焦该系统中的车联网数据存储问题。为了完成车联网数据的存储任务,同时满足高并发、高吞吐的写入要求和高实时的查询要求,根据车联网数据的读写特征,本文设计并实现了一套混合存储系统。该存储系统依赖底层引擎的可靠性、可用性和可扩展性,为城市车辆智能防控系统提供健壮的数据服务。本文工作主要由以下三部分组成:1、系统需求分析。使用层次化的车联网领域特征来确定城市车辆智能防控系统中心平台的功能边界,明确其主要工作是实现车联网上五层的功能部署。将平台内最主要的两条数据流定义为数据生产链和信息加工链。顺着数据生产链和信息加工链,研究混合存储系统和平台其它组件之间的交互协作,提取混合存储系统的功能性需求。从城市车辆智能防控系统的业务功能和生产环境中,归纳车联网数据的读写特征,并将之划分成感知数据、基础信息、统计数据三类。同时,分析混合存储系统的非功能性需求。根据上述需求和存储技术,选择HBase、MySQL和Redis作为混合存储系统底层的存储引擎。2、系统设计与实现。混合存储系统由数据对象、操作接口、连接池和物理引擎组成,分为感知数据存储子系统、基础信息存储子系统和统计数据存储子系统。借助HBase强大的写入能力和分布式管理逻辑,实现感知数据的高并发读写。本文提供感知数据存储模式、操作接口、HBase连接池和索引维护程序的详细设计,并给出具体的集群优化配置参数和集群存储规模的预估方法。借助MySQL的B树索引和事务处理策略,管理关系复杂的基础信息。结合实际应用场景,分析统计数据的写入冲突和查询延迟问题。利用Redis的高性能,记录下量少却读写频繁的统计数据。3、系统测试和总结。检查混合存储系统的节点使用情况,统计存储吞吐量,检测平台的信息反馈时延。线上测试表明,集群负载情况良好、日吞吐量超过4亿、信息反馈时延控制在7秒以内。混合存储系统能够为城市车辆智能防控系统提供稳定、可靠、可扩展、高并发、高实时、高吞吐的数据存储服务。