检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于分布式集群架构的遥感数据传输机制

计算机工程 2021年第10期47卷 180-185页

作者：刘美佳张箐中国科学院空天信息创新研究院北京100094 中国科学院大学电子电气与通信工程学院北京100049

对地观测遥感卫星数据传输系统采用Linux虚拟服务器集群架构传输遥感卫星数据,而该集群中承载传输任务的新旧服务器在实现断点续传的过程中由于控制信息不同步会造成数据片重复。设计一种基于分布式系统架构的遥感卫星数据处理机制DPM,... 详细信息

对地观测遥感卫星数据传输系统采用Linux虚拟服务器集群架构传输遥感卫星数据,而该集群中承载传输任务的新旧服务器在实现断点续传的过程中由于控制信息不同步会造成数据片重复。设计一种基于分布式系统架构的遥感卫星数据处理机制DPM,采用kafka消息队列快速存储数据包,利用代码模块使Spark Streaming精准提交消息偏移量,并通过数据传输速率与进度统计实时记录DPM运行状态信息。测试结果表明,DPM机制可精准记录与提交消息偏移量并实现数据续传功能,从而确保遥感卫星数据的准确稳定传输。

关键词：数据传输系统遥感卫星数据分布式系统架构数据处理机制 kafka消息队列

基于虚拟网关的交通基础设施监测点位数据接入方法

在线全文

学校读者我要写书评

暂无评论

计算机工程 2024年第4期50卷 50-59页

作者：黄亮邹鹏曹菁菁胡健颜泽锌黄小蝶武汉理工大学水路交通控制全国重点实验室湖北武汉430063 武汉理工大学国家水运安全工程技术研究中心湖北武汉430063 武汉理工大学智能交通系统研究中心湖北武汉430063 武汉理工大学交通与物流工程学院湖北武汉430063 北京四维图新科技股份有限公司北京100093

针对交通基础设施点位监测数据来源多样、结构各异、协议不一的特点,分析具体接入需求,提出一种基于Netty架构的交通基础设施监测点位数据接入虚拟网关。阐述网关接入监测点位的配置方法及集群分配策略,定义超文本传输协议(HTTP)、传输... 详细信息

针对交通基础设施点位监测数据来源多样、结构各异、协议不一的特点,分析具体接入需求,提出一种基于Netty架构的交通基础设施监测点位数据接入虚拟网关。阐述网关接入监测点位的配置方法及集群分配策略,定义超文本传输协议(HTTP)、传输控制协议(TCP)、用户数据报协议(UDP)下的数据传输格式,设计一种数据传输消息的编码和校验机制。在真实监测数据样本增强的基础上,利用分布式消息模拟工具对虚拟网关性能进行测试,结果表明,该虚拟网关实现了多点位多协议的交通基础设施监测数据统一接入,每亿条数据接入时间、存储时间分别达到8.14 s和9.75 s,平均数据溯源时间为2.96 s,具有亿级规模点位监测数据的接入能力,可为交通基础设施数字化监测的研究和应用提供理论支撑。

关键词： Netty框架 kafka消息队列数据接入平台化物联网数据

面向实时智能控制的数据采集平台及其应用研究

在线全文

学校读者我要写书评

暂无评论

航空制造技术 2022年第22期65卷 87-93页

作者：孙海勇金鸿宇富宏亚韩振宇张立伟哈尔滨工业大学哈尔滨150001 通用技术齐齐哈尔二机床有限责任公司齐齐哈尔161000

生产设备的实时智能控制系统可以有效提高生产效率及生产质量,但目前关于智能制造的研究主要针对车间管理和生产调度方面,应用场景多是实时性不高的场合。针对这个问题,基于开放式数控系统研究了数据采集模块的集成方法,建立了基于Kafk... 详细信息

生产设备的实时智能控制系统可以有效提高生产效率及生产质量,但目前关于智能制造的研究主要针对车间管理和生产调度方面,应用场景多是实时性不高的场合。针对这个问题,基于开放式数控系统研究了数据采集模块的集成方法,建立了基于kafka消息队列和MongoDB数据库的实时数据采集平台,实现了加工数据实时接收以及数据的本地保存。同时,提出了一种基于非线性能量算子的颤振在线监测方法,以模块化的方式部署在开放式数控系统中,通过铣削薄壁件试验验证了数据实时采集平台及在线颤振监测模块的实时性和有效性。

关键词：开放式数控系统 kafka消息队列 MongoDB数据库数据采集平台颤振在线监测

在线全文

学校读者我要写书评

暂无评论

自定义分布式网络爬虫的设计与实现

自定义分布式网络爬虫的设计与实现

作者：杜凤媛电子科技大学

学位级别：硕士

随着互联网的飞速发展,大数据已经渗透到每个行业和业务功能领域,其价值也越来越显著。提取出有意义有价值的数据尤为重要。因此用于互联网信息采集的网络爬虫面临着巨大的机遇和挑战。目前国内外一些大型搜索引擎只给用户提供不可定制... 详细信息

随着互联网的飞速发展,大数据已经渗透到每个行业和业务功能领域,其价值也越来越显著。提取出有意义有价值的数据尤为重要。因此用于互联网信息采集的网络爬虫面临着巨大的机遇和挑战。目前国内外一些大型搜索引擎只给用户提供不可定制的搜索服务,单机网络爬虫又难当重任,已有的分布式网络爬虫虽然功能强、效率高,但普通用户难以理解和使用。本文设计并实现了一套基于分布式的自定义采集网络爬虫系统。能够精准批量识别各种网页元素并自动生成提取规则,支持不同网页结构的复杂网站采集,满足多种采集应用场景,高效爬取数据。用户利用系统,按照自身需求,可视化编辑爬虫任务脚本,自动完成对爬虫数据的采集。本文的主要工作如下:(1)通过对嵌入式Qt框架的研究,开发嵌入式浏览器并使其具有记录用户网页操作、获取元素定位信息、智能识别网页相似元素等功能,实现自定义爬虫系统的终端图形界面。方便用户可视化编辑爬虫任务,最终生成用户自定义的爬虫任务脚本。(2)借鉴当前scrapy-redis的分布式架构的思想,以redis作为存储任务的队列,实现基于主从式分布式架构的爬虫系统。针对各物理从节点的异构性导致所承载虚拟节点数不同的问题,提出一种自适应调整虚拟节点的算法。物理从节点可实时根据自身负载调整虚拟节点数,保证从节点自身最佳负载;针对中心节点中任务调度问题,提出一种受限负载均衡算法。主节点为并行任务选取负载较小的虚拟节点(集)的同时尽量保证节点集被分配在同一个物理节点上。方便对任务的管理,确保系统中各爬虫节点负载均衡。(3)采用python+selenium技术,设计并实现自定义爬虫。该爬虫通过对爬虫任务脚本进行解析,驱动浏览器按照脚本中的指令,完成对网页的操作,实现自定义采集。同时,为防止爬虫受到站点反爬虫策略的影响,设计并实现动态ip代理池。通过多站抓取、定时异步验证ip有效性、实时监控代理池中ip的数量与质量,为系统提供高质量的ip。

关键词： selenium框架分布式网络爬虫任务调度 QT框架 kafka消息队列

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

海量数据存储和准实时查询系统设计与实现

海量数据存储和准实时查询系统设计与实现

作者：齐方方西南石油大学

学位级别：硕士

海量数据的存储和实时查询正在成为时下研究的热点。公司生成的数据量极速增长,急需一个新的方法来存储和分析数据集。传统的数据库管理系统难以处理海量数据的规模,存储这样规模的数据比较缓慢,并且需要前期做更多的设计和准备。本文... 详细信息

海量数据的存储和实时查询正在成为时下研究的热点。公司生成的数据量极速增长,急需一个新的方法来存储和分析数据集。传统的数据库管理系统难以处理海量数据的规模,存储这样规模的数据比较缓慢,并且需要前期做更多的设计和准备。本文利用kafka消息队列、Storm流处理框架、HBase数据库等大数据技术,改进Impala大数据搜索引擎,设计并实现一个能够满足海量数据高吞吐量可靠存储和准实时查询需求的系统。系统具有高并发性、健壮性、动态伸缩和高容错性等特性,易于使用,支持高性能存储,改进的Impala搜索引擎可直接基于HBase快照查询,不再影响HBase的性能,可用于复杂的查询统计类需求。首先利用Protocol Buffer对数据序列化并推入kafka消息队列,Storm流处理系统从kafka队列拉取消息,kafkaSpout作为数据源向Storm组件发射消息流,本文实现的FilterBolt将过滤掉不安全的数据,HBaseBolt会最终将数据存储到分布式文件系统中,如果由于异常导致存储失败,会再次拉取这个消息处理,直至处理成功,提高了系统的高容错性。Impala集群和HBase集群共享同一个分布式文件系统,当数据存储在分布式文件系统后,系统基于分布式文件系统机架感知原理,将数据会同时分布到Impala和HBase集群中。改进的Impala引擎支持可直接查询HBase快照,保证了Impala和HBase不影响彼此之间的性能,提高了系统的实用性。最后,本文搭建实验环境完成系统性能测试,监测系统存储的性能和对于异常情况的容错能力,最后与Hive+HBase系统性能进行比较。通过实验结果得出,本文构建的新系统提供高性能存储和可扩展性,实现了海量数据的准实时查询。

关键词： kafka消息队列 Storm流处理框架 HBase分布式数据库 Impala搜索引擎机架感知

基于Flink的生产线机台实时生产数据流分析与可视化系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Flink的生产线机台实时生产数据流分析与可视化系统的设计与...

作者：张嘉诚西安电子科技大学

学位级别：硕士

随着全球化进程的加速,制造业竞争愈发激烈。伴随生产规模的扩大,日益增加的人工成本已经成为制造业必须认真考虑的问题。数字化转型产业升级成为传统制造业降低人工成本、提高生产效率的重要手段。实时数字化管理可以使企业更加敏捷、... 详细信息

随着全球化进程的加速,制造业竞争愈发激烈。伴随生产规模的扩大,日益增加的人工成本已经成为制造业必须认真考虑的问题。数字化转型产业升级成为传统制造业降低人工成本、提高生产效率的重要手段。实时数字化管理可以使企业更加敏捷、高效地运营,提高产品质量和服务水平,增强企业的竞争力;提供实时数据和分析结果,帮助企业管理层制定更加精确的决策,快速应对市场变化。当工业生产中越来越多的机台进行数字化管理时,保障大量机台接入时的信息处理的实时性、准确性至关重要。本文通过实地参与制造业数字化转型过程,深入调研分析了当前工业物联网领域数字化转型存在的普遍问题:机台状态的获取、实时计算分析及可视化存在技术难点;功能服务之间高度耦合;机台点位、空间位置管理欠缺;对于核心集群资源缺乏监控告警等可能造成较为严重的经济损失;缺乏有效的机台状态异常检测机制、不能防患于未然。针对上述工业物联网领域的痛点问题,本文的主要成果包括:(1)针对工业生产线机台的点位信息流处理存在的实时性问题,设计了一种基于Flink的实时流计算处理系统,为了适配Flink的流式数据分析的特点,使用kafka实时消息队列来存放来自边缘端的需要实时运算的机台生产数据。通过监听点位信息生成后存放的消息队列进行数据解析并依据状态跃迁图将点位信息映射为事件-状态信息生成相应的机台状态流;通过Flink CDC同步机台参数表数并将实时机台参数流进行广播和关联对机台状态流进行数据强化;使用Flink Table API&SQL以及Data Stream API进行业务计算并将计算得到的机台状态业务指标和组织空间业务指标存入PostgreSQL数据库集群,之后基于Spring Boot与VUE组合的Web开发框架实现了业务指标的可视化,并且借助Flink优秀的实时计算性能,实现了每秒一次的实时更新。(2)针对生产线机台传感器数据以及众多开源数据集存在数据冗余、特征相关的问题,使用PCA(主成分分析)降维后对ECOD(基于经验累积分布函数的异常值检测)算法进行改进。以不同物理空间下若干机台当月稼动率为衡量指标,以机台各点位的状态信息作为参数进行异常检测,指导企业及时进行机台维护避免生产事故的发生、降低可能造成的企业经济损失风险。通过在公开数据集mammographyh、Breastw等上测试,改进算法在性能指标AUC和AP上表现出了平均7.1%左右的提升。(3)基于工业物联网领域对于系统可靠性的需求,设计并实现了基于Prometheus、Grafana和Altermanager的核心集群资源实时监控告警系统。对PostgreSQL集群的磁盘利用率、慢SQL查询记录、数据库连接数等关键信息设置告警规则,在磁盘利用率超过80%、连接数接近数据库设定上限时通过邮件或钉钉告警通知相关的管理人员,避免生产故障。(4)针对服务之间高度耦合,机台点位、空间位置管理欠缺的问题,结合微服务架构理念,结合容器技术将本系统设计为微服务架构。进行服务建模分为多个微服务后以Docker容器的形式运行;应用注册中心Eureka进行微服务注册和发现;封装Spring Cloud Gateway开发相应的网关界面提供可视化交互创建路由规则、熔断限流策略等功能。通过以上工作有效提高了系统的可扩展性、可维护性和可靠性,当系统接1052台机台时系统依旧表现出较强的稳定性和可靠性。(5)最后,基于以上研究完成一个工业生产领域的实时分析运算系统的设计与实现。以实际工业生产中的大量机台为实验对象,对实时计算分析系统的功能性和实时性进行验证。当系统接入的机台数目为1052台时,机台数据流从机台上报到实时处理后的可视化展示的时延不超过3秒。

关键词： Flink流处理引擎 kafka消息队列 CDC实时数据同步 ECOD算法实时机台数据流分析 PostgreSQL数据库集群

基于Storm的实时交通信息管理系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Storm的实时交通信息管理系统的设计与实现

作者：李申申扬州大学

学位级别：硕士

智能交通产业发展至今,各种先进的信息采集技术(如微波采集技术、视频采集技术、环形线圈感应式采集技术等)被广泛地运用于交通数据采集,交通管理部门不仅具备了交通基础信息,还拥有了各类动态数据,如车辆实时营运信息、道路交通状况等... 详细信息

智能交通产业发展至今,各种先进的信息采集技术(如微波采集技术、视频采集技术、环形线圈感应式采集技术等)被广泛地运用于交通数据采集,交通管理部门不仅具备了交通基础信息,还拥有了各类动态数据,如车辆实时营运信息、道路交通状况等,采集的数据类型包括属性数据、空间数据、影像数据等。区别于原有手段所采集的交通数据,通过这些新兴技术采集的流数据具有数据容量大、实时性高的特点。在这种交通数据实时的、持续增长的状态下,交通行业传统非实时、静态管理数据的信息处理方式已经难以适用。因此,如何实时处理传感器采集的流数据已经成为关注的焦点和亟需攻破的难关。在这样的背景下,本文通过对基于Storm、HBase等大数据实时技术的研究,提出了相应的解决方案,其主要研究工作和成果如下:(1)提出了基于Storm的实时交通信息管理系统的总体架构。将架构分为5个层面:数据采集层、数据接入层、数据处理与存储层、服务层和应用层,同时研究与设计了 Storm集群的高可用性方案。(2)在研究了 HBase原理之后,根据交通流数据具有数据量大、接入速度快以及数据源多等特点,通过对行键结构设计的优化,解决了流数据落地时出现的“热点”问题。(3)以自主开发的Storm交通流实时分析处理平台为基础,实现对交通流数据的实时处理,解决了海量交通流数据的道路车流平均速度计算以及计算结果离散化的问题。同时,本文还对隐马尔可夫模型进行深入研究,以分析计算所得的数据序列,完成对交通隐马尔可夫模型参数的构造。通过对数据序列的统计分析,使用EM算法完成模型参数的训练。最后使用Viterbi算法完成未来五分钟的交通状态预测。(4)最后,根据总体架构应用层需求,基于Storm实时计算平台,构建并实现了实时交通信息管理系统。本文对系统进行了详细的功能模块设计,并实现了流量统计、拥堵查询、车辆跟踪、交通拥堵预测等功能。

关键词：智能交通 Storm实时计算框架 kafka消息队列 HBase数据库 Zookeeper任务协调管理器隐马尔可夫模型

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

kafka消息系统可靠性研究

Kafka消息系统可靠性研究

作者：郭宗怀重庆邮电大学

学位级别：硕士

伴随着互联网的高速发展,storm、s4、spark、streaming等大数据实时计算框架广泛应用于实时监控、实时推荐、实时交易等系统。为了能够实时消费数据流,kafka消息系统得到了广泛部署,但随着数据实时性增强,kafka消息系统可靠性面临巨大... 详细信息

伴随着互联网的高速发展,storm、s4、spark、streaming等大数据实时计算框架广泛应用于实时监控、实时推荐、实时交易等系统。为了能够实时消费数据流,kafka消息系统得到了广泛部署,但随着数据实时性增强,kafka消息系统可靠性面临巨大挑战。目前kafka消息系统主要通过消息队列实现数据的实时分发,其可靠性主要通过数据的一致性来保证。当前消息队列数据不一致性主要有两方面原因引起,一方面是由集群中主、从副本间数据不一致导致,为了能使数据一致,从副本通常采用同步方式进行数据备份,但需要花费大量的网络、磁盘、内存等额外开销,使得集群负载加大;另一方面由于消息生产速率与消息落盘速率不匹配,导致数据缓存溢出,造成数据丢失,同步式消息生产虽然能解决数据丢失问题,但会影响消息集群的吞吐能力。针对以上问题,论文通过分析现有kafka消息队列机制,研究kafka消息系统的可靠性,具体完成以下工作:1.针对kafka消息队列在副本数据同步过程中,集群负载增大的问题,提出基于消息热度的副本自适应同步策略。该策略通过预估消息热度,动态采用强一致性策略和弱一致性策略更新副本数据;并搭建kafka集群,与kafka2.10的副本数据同步策略进行实验对比,结果表明自适应一致性同步策略不但能够保证消息副本的一致性,而且可以显著降低额外资源开销,提高集群的吞吐速率。2.针对kafka消息队列采用消息缓存机制实现消息异步分发,会存在缓存溢出导致数据丢失的问题,提出基于消息热度的多级缓存机制,采用WFQ多队列调度算法实现公平的队列调度,以保证其数据落盘的公平性。并与kafka2.10进行了实验对比,结果表明采用基于消息热度的多队列缓存策略后,不仅降低了数据消费的延时,还保证了消息队列的可靠性;综上所述,研究kafka消息队列的主副本数据一致性策略及消息分发机制,是保证kafka消息系统可靠性的有效途径,具有重要的理论参考价值和实用意义。

关键词： kafka消息队列消息可靠性消息热度自适应一致性多队列缓存

面向智慧城市的多源感知和应急联动系统设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向智慧城市的多源感知和应急联动系统设计与实现

作者：张东捷电子科技大学

学位级别：硕士

目前已有的“智慧城市”系统仅支持数据采集功能,而无法在数据感知网关侧对异常数据进行分析、处理,所有异常事件处理均需在云端完成,对于监测人员的判断和应急能力要求较高,容易出现对于异常事件判断延迟、处理缓慢的情况。为解决上述... 详细信息

目前已有的“智慧城市”系统仅支持数据采集功能,而无法在数据感知网关侧对异常数据进行分析、处理,所有异常事件处理均需在云端完成,对于监测人员的判断和应急能力要求较高,容易出现对于异常事件判断延迟、处理缓慢的情况。为解决上述问题,本文设计并实现一种面向智慧城市的多源感知和应急联动系统,系统把气象环境数据、路灯运行状态数据、BLE广播数据、可见光视频数据、按键报警信息五种多源数据通过串口通信和网络传输进行实时采集、集中存储和实时显示,实现系统实时性、多源性,同时,当出现异常数据时,对多源数据进行融合处理,达到系统应急联动的目的。系统软件功能为论文研究的重点,主要分为异常事件应急联动功能子系统、气象环境数据实时查看子系统、路灯运行状态数据实时查看子系统三部分:（1）异常事件应急联动功能子系统,主要基于多源数据的融合,对异常事件进行应急处理,首先在系统设备端采集BLE广播数据和按键报警信息,当发生按键报警异常事件后,设备端嵌入式控制器进行联动光显和联动报警录像。随后,在系统服务端,消费约定主题下的按键报警信息,确定事发区域附近的巡检人员,通过短信云平台向其发送报警提示信息;同时,将异常事件信息推送至Web客户端,弹出事发区域的监控界面,提醒监测人员发生异常事件,快速采取相应的应急措施。（2）气象环境数据实时查看子系统,在系统设备端利用串口通信技术、嵌入式系统搭建、移植技术实现温度、湿度、光照强度、噪声、PM2.5和PM10数据实时采集,通过kafka消息队列将数据快速上传至系统服务端,系统服务端消费气象数据后,利用socket IO技术将气象数据实时推送至前端显示界面,供监测人员实时查看气象环境数据变化曲线。（3）路灯运行状态数据实时查看子系统,在系统设备端通过路灯单灯控制器定时查询路灯运行状态,实时采集路灯运行电压、电流、有效功率、漏电电流、调光状态和调色温状态,并通过kafka技术和WebSocket协议将上述数据实时推送至前端显示界面,供监测人员实时查看路灯运行状态数据变化曲线。本文对多源感知和应急联动系统进行软件功能的设计与实现,并成功验证系统的实时性和多源性,为“智慧城市”系统设计提供一种新的可行性解决方案。

关键词：串口通信 kafka消息队列 Flask后台开发框架 WebSocket协议