检索结果-南通市图书馆

基于时间序列模型的Kafka系统智能化管理方法

在线全文

学校读者我要写书评

暂无评论

高技术通讯 2023年第10期33卷 1047-1059页

作者：周宇泽司鹏搏张延华李萌杨睿哲北京工业大学信息学部北京100124

区块链是分布式的数据存储系统,共识算法为区块链实现安全存储数据提供支撑和保障。Kafka作为共识算法中的一种,其高吞吐速率、低时延的特点受到青睐。但使用Kafka算法的系统接受大量交易时,易产生数据倾斜,即分布式系统的多节点结构中... 详细信息

区块链是分布式的数据存储系统,共识算法为区块链实现安全存储数据提供支撑和保障。Kafka作为共识算法中的一种,其高吞吐速率、低时延的特点受到青睐。但使用Kafka算法的系统接受大量交易时,易产生数据倾斜,即分布式系统的多节点结构中,大量数据集中在少数节点,导致系统资源被占用、性能下降。为解决上述问题,本文提出基于时间序列模型长短期记忆网络(LSTM)的智能优化方法。通过学习过往生产者接收到的交易量,预测下一时刻面临的交易量,动态调整生产者节点数量,减少数据集中在少数节点的情况。实验结果显示,本文方法可以将Kafka系统时延降低2~3倍,吞吐速率提升2~3倍,与优化前相比系统效率提升52.62%,比2种传统优化方法分别提升近3%和40%,能耗仅小幅提升,系统使用情况保持更加合理。

关键词：区块链 Kafka 长短期记忆网络(LSTM) 时间序列模型

在线全文

学校读者我要写书评

暂无评论

基于容器环境的Kafka性能调优方法

基于容器环境的Kafka性能调优方法

作者：冯晨旭华中科技大学

学位级别：硕士

大数据时代,爆炸式增长的数据给企业带来了机遇和挑战。Kafka作为高吞吐,低延迟的分布式消息队列系统,被广泛的应用于流量削峰,系统解耦,异步处理等场景。在云计算领域,容器部署因其部署效率高,迁移方便等优点获得了越来越多企业的青睐... 详细信息

大数据时代,爆炸式增长的数据给企业带来了机遇和挑战。Kafka作为高吞吐,低延迟的分布式消息队列系统,被广泛的应用于流量削峰,系统解耦,异步处理等场景。在云计算领域,容器部署因其部署效率高,迁移方便等优点获得了越来越多企业的青睐,而在容器的多种实现方案中,Docker无疑是较为流行的一种。Kafka提供了200个以上的配置参数,对其进行手动调参是非常困难的,使用默认配置又无法充分利用机器性能,不能使得Kafka达到较高的吞吐率。基于此背景,本课题在容器环境下提出了一套Kafka生产者端配置参数调优算法及基于相似度的最优配置选择算法。Kafka生产者端配置参数调优算法的目的在于搜索出一组最优的配置参数,在此组配置参数下运行时,Kafka能获得比默认配置下更高的吞吐率和更低的延迟。该方案首先通过随机的方式生成若干组配置参数,然后取这些配置组逐个运行并记录Kafka的平均吞吐率,其次,以配置参数和平均吞吐率作为训练样本构建机器学习性能预测模型,最终通过机器学习性能预测模型和灰狼算法搜索出一组最优的配置参数。在实验涉及的15个工作负载中,搜索出的最优配置相较于默认配置最高提升了5.18倍的吞吐率。基于相似度的最优配置选择算法通过微体系结构层,操作系统层,容器层指标来刻画Kafka工作负载的行为特性,并把行为特性相似的工作负载分到同一类别,同一类别的工作负载可以使用相同的最优配置参数。此方法可以充分利用已有的最优配置去调优未知的工作负载,这减少了对工作负载进行调优所需的样本收集时间。将Kafka生产者端配置参数调优算法和基于相似度的最优配置选择算法结合起来使用比起仅仅使用Kafka生产者端配置参数调优算法在最好情况下可以节省90%的样本数量。

关键词： Kafka Docker 机器学习灰狼算法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向Kafka消息系统的性能优化方法研究

面向Kafka消息系统的性能优化方法研究

作者：黄娅婷桂林电子科技大学

学位级别：硕士

在大数据时代,Kafka消息系统因其高吞吐、低延迟、高容错等优点被用来更好地处理海量的数据。但随着数据量的不断增长和高并发场景的不断增多,Kafka消息系统由于自身配置不当,集群节点负载倾斜等原因,在工作时出现吞吐率低,时延高等性... 详细信息

在大数据时代,Kafka消息系统因其高吞吐、低延迟、高容错等优点被用来更好地处理海量的数据。但随着数据量的不断增长和高并发场景的不断增多,Kafka消息系统由于自身配置不当,集群节点负载倾斜等原因,在工作时出现吞吐率低,时延高等性能问题。针对上述问题,本文提出了自动配置性能优化和负载均衡性能优化两种性能优化方法。首先,在自动配置方面通过生成对抗性网络与自注意力机制学习生成良好配置组合,使Kafka在部署合适的配置后吞吐率得到提升,时延也相应降低;其次,在负载均衡策略方面通过构建基于随机森林的性能比较模型选择Kafka集群服务器中最合适的任务分发对象,使得Kafka集群负载相对均匀,从而提升Kafka消息系统吞吐量,降低时延。本文具体研究内容和创新点如下:(1)针对Kafka消息系统无法根据特定的应用环境对配置参数进行相应的配置,导致Kafka在处理大数据量时容易出现吞吐率低,时延高的问题,提出了一种自动配置算法(Automatic Configuration Tuning using Self-Attention and Generative Adversarial Network,ACT-SAGAN)。首先,在生成对抗性网络模型中加入自注意力机制,从良好配置组合中捕捉隐藏结构与配置参数之间的关联;其次,利用这些隐藏结构与关联生成更好的配置组合,通过部署更好的配置来提高Kafka的性能表现。该方法不需要建立预测模型,减少了运行系统次数,效率明显提升;最后,实验结果表明,与默认配置下的Kafka对比,本文算法的吞吐率提升了78.60%,平均时延降低26.95%,最大时延降低39.84%。(2)针对Kafka自身不能感知集群中的负载状态信息,负载策略不均衡导致Kafka在处理海量数据时数据倾斜,单点负载过高而造成Kafka吞吐率低,时延高的问题,提出了一种基于Kafka性能比较模型的负载均衡性能提升算法。首先,考虑集群服务器的负载状态信息CPU利用率、内存利用率、磁盘利用率对Kafka处理新任务的性能影响;其次,建立性能比较模型,预测出新任务在各节点的性能排序;最后,选择出排序最靠前的服务器节点,从而使该集群负载相对均匀合适,提高Kafka的性能表现。实验结果表明,与Kafka默认状态相比,使用本文算法选择的服务器进行任务分发,吞吐量提高57.32%,平均时延降低24.31%,最大时延降低37.329%。

关键词： Kafka 性能优化生成对抗性网络随机森林负载均衡

基于Netty与Kafka的物联网数据采集平台的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Netty与Kafka的物联网数据采集平台的设计与实现

作者：庞子皓南京邮电大学

学位级别：硕士

近年来,随着互联网技术以及智能传感器产业的蓬勃发展,将二者统筹整合的物联网技术也日趋成熟,越来越多的传统行业借助这一技术进行着业务革新和产业升级,物联网设备数量也急剧增加。在海量设备连接入网的情况下,如何将海量物联网设备... 详细信息

近年来,随着互联网技术以及智能传感器产业的蓬勃发展,将二者统筹整合的物联网技术也日趋成熟,越来越多的传统行业借助这一技术进行着业务革新和产业升级,物联网设备数量也急剧增加。在海量设备连接入网的情况下,如何将海量物联网设备接入数据平台并实时高效的采集数据是难点问题。为此,本文设计了一种基于Netty与Kafka的物联网数据采集平台。在设备连接方面,Netty通信框架基于事件驱动网络,并发性较高,同时定制能力强,可以对系统进行灵活扩展。在数据处理方面,Kafka具备消息订阅以及持久化能力,相对于传统的消息中间件有着更大的吞吐量。在此基础上,本文针对Kafka消息中间件带来的实时性问题,提出了一种基于多级优先队列的数据处理算法与Kafka协同处理数据。该算法将数据的优先级和长度的乘积作为标准,首先将数据分派到多级优先队列和短作业优先队列中,然后根据多级优先队列中的数据处理情况,依次创建队列,直到所有数据都处理完毕。针对TCP协议的粘包拆包问题,引入了一种自定义通讯协议,提高了平台的数据传输速度。针对由于Netty的IO线程池满造成的设备连接等待问题,本文提出了一种线程池容量配置方案,该方案考虑设备连接的等待时间和阻塞IO的处理时间,对Netty的IO线程池在合理范围内动态调整。最后本文基于优化后平台,从设备端和服务端入手,搭建了一个功能较为完备的物联网数据采集平台,并对数据采集平台的各项功能进行测试。结果表明,各功能的测试结果都能够满足预期,平台也能在收集数据的同时,提供各项服务。

关键词：物联网 Netty Kafka 多级优先队列线程调优

ENLHS:一种基于抽样的Kafka自适应调优方法

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

计算机科学 2020年第8期47卷 119-126页

作者：谢文康樊卫北张玉杰徐鹤李鹏南京邮电大学计算机学院南京210023 国家高性能计算中心南京分中心南京210023 江苏省高性能计算与智能处理工程研究中心南京210023

Kafka应用在生产环境中时,除机器的硬件环境和系统平台影响其性能外,Kafka自身的配置项决定着其能否在硬件资源有限的情况下达到理想的性能,但人为修改和调优配置项的效率极差。海量数据发送到Kafka后,如果不针对实际资源环境进行调优,K... 详细信息

Kafka应用在生产环境中时,除机器的硬件环境和系统平台影响其性能外,Kafka自身的配置项决定着其能否在硬件资源有限的情况下达到理想的性能,但人为修改和调优配置项的效率极差。海量数据发送到Kafka后,如果不针对实际资源环境进行调优,Kafka使用默认的配置参数无法保证其在每个生产环境下的性能。因为Kafka自身的配置项非常大,传统的自适应算法在大规模生产系统中的性能较差。为了提高Kafka的自适应能力,消除系统中的复杂性,获得更好的运行性能,提出一种针对Kafka的自适应性能调优方法。该方法充分考虑了Kafka特征参数与性能的影响权值,并使用抽样的原理来提高数据集的生成效率并优化数据选取范围,提高建模的效率并降低优化方法的复杂度。实验结果显示,该算法对开源版本Kafka的吞吐率和时延进行了优化,提高了Kafka在给定的系统资源下的吞吐性能,并降低了时延。

关键词： Kafka 消息队列性能调优拉丁超立方抽样弹性网络

基于ELKB+Kafka的CFETR PCS日志系统的设计与实现

在线全文

学校读者我要写书评

暂无评论

基于ELKB+Kafka的CFETR PCS日志系统的设计与实现

作者：武坤玉中国科学技术大学

学位级别：硕士

等离子体控制系统(PCS,Plasma Control System)是托卡马克实验装置运行的关键系统之一,PCS日志系统记录了等离子体放电全过程的重要信息,可为系统故障分析和运行操作追溯提供重要依据。针对CFETR(China Fusion Engineering Test Reactor... 详细信息

等离子体控制系统(PCS,Plasma Control System)是托卡马克实验装置运行的关键系统之一,PCS日志系统记录了等离子体放电全过程的重要信息,可为系统故障分析和运行操作追溯提供重要依据。针对CFETR(China Fusion Engineering Test Reactor)PCS长脉冲放电过程稳态运行的要求,PCS系统框架的日志采集模块及日志管理模块正在研发中,目标是设计出一个完备、清晰、便于查看与分析的日志系统,完成对各类PCS日志消息的采集、处理、持久化存储以及可视化的查询与分析。日志系统所管理日志的来源有很多,不仅包括CFETRPCS的功能服务模块产生的操作记录与状态变化信息,还包括EAST(Experimental Advanced Supercon-ducting Tokamak)PCS 历史实验产生的离线日志以及在实验过程中产生的在线日志,因此日志系统的设计必须屏蔽信息来源的差异,完成对不同种类日志信息的统一管理。同时也要考虑多个模块同时向日志系统发送消息的复杂场景,避免消息在传输过程出现并发覆盖的情况。基于此,本文提出了基于ELKB+Kafka的CFETR PCS日志系统。Kafka不仅完成了对日志消息的分类和缓存,而且作为日志采集和日志管理之间的消息中间件,使日志管理的过程相对独立,不受限于日志的来源和日志采集的方式。系统在日志采集阶段利用多生产者-单消费者的设计模式,实现了对日志消息发送和接收过程的并发处理。另外,日志采集和日志管理之间完全解耦,保证了不会因为在日志处理阶段出现异常情况而导致对PCS系统的稳定性造成影响。由于目前CFETRPCS还处于开发阶段,因此系统在实现部分主要利用EAST PCS产生的日志信息来进行测试与验证。总体来看,利用该系统可以让实验人员高效便捷地查看放电过程中PCS的关键出错信息、自定义检索过滤条件、对异常情况进行分析、查看界面操作记录,也可以让PCS开发人员很方便地捕捉CFETR PCS各组件之间的交互信息和重要操作记录并最终完成关键日志信息的持久化存储。

关键词： CFETR PCS日志消息并发处理 Kafka ELKB EAST

基于Kafka的数字航道流数据处理与应用技术

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Kafka的数字航道流数据处理与应用技术

作者：邱实大连海事大学

学位级别：硕士

近些年来,随着信息化技术的快速发展,航道管理已经进入了数字航道时代。数字航道作为航道数字化发展的产物,包含了各种各样的航道数据,航标、水位、船舶AIS和气象等。如何高效地采集和整合各种航道数据,增强数据资源的综合利用能力,是... 详细信息

近些年来,随着信息化技术的快速发展,航道管理已经进入了数字航道时代。数字航道作为航道数字化发展的产物,包含了各种各样的航道数据,航标、水位、船舶AIS和气象等。如何高效地采集和整合各种航道数据,增强数据资源的综合利用能力,是当前数字航道研究的重点。由于航道数据大多是实时采集的,而且随时间延续数据将无限增长,具有典型的流数据特征。因此,利用最新的流数据技术对数字航道的数据进行处理,能够十分显著地提高效率和稳定性,无论是对数字航道监管应用还是后续的航道大数据分析都具有极其重要的意义。本文以Kafka为核心,结合GeoMesa、Geo Server以及Hadoop大数据生态圈技术,针对具有时空特性的数字航道流数据的处理与应用问题展开了深入研究。从数字航道流数据的接入、处理、存储、展示到应用,设计并实现了一套完整的技术方案。本文完成的主要工作包括:(1)针对数字航道多源异构数据特点,基于Kafka Connector设计和实现了各种数据连接器,实现了多种不同来源数字航道数据的接入,并统一利用Kafka作为数据缓存,实现各类数据的高效整合。(2)针对AIS、航标、水位、气象等各种航道数据的特点,基于Kafka消费者接口,结合GeoMesa时空索引技术,对Kafka数据缓存中的流数据进行解析和分流处理。一方面,将所有数据存入大数据平台的HBase数据库中作为历史数据,用于离线数据展示和分析。另一方面将各类最新的流数据持续更新到一个新的应用Kafka消息系统的各个主题中,用作实时流数据应用基础。(3)基于Geo Server地理服务器,实现应用Kafka实时航道流数据和HBase历史航道数据的服务器端可视化地图发布。基于Ksql DB的流事件数据库,将应用Kafka内的各类实时流数据进行转换,形成服务器端的流数据服务,同时提供各类航道实时数据查询的Restful接口。(4)基于Open Layers和Vue.js等前端技术,调用地图服务和实时数据查询接口,实现航道流数据在前端的展示和应用。本文针对数字航道的实践需求,提出了基于Kafka的数字航道流数据处理和应用方案,可有效解决当前普遍存在的数据丢包、数据处理缓慢以及不便进行大数据分析等问题,对数字航道的改进和进一步完善有实际工程意义和良好的应用价值。

关键词： Kafka 数字航道流数据 GeoMesa

基于Kafka的海上风电场数据传输系统设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

科技创新与应用 2023年第31期13卷 26-31页

作者：余建忠谭任深中国能源建设集团广东省电力设计研究院有限公司广州510663

在数字经济发展的时代背景下,企业不断面临着数字化转型的压力与挑战。许多能源企业也在积极探索数字化转型的关键要素,数据被大多数人认为是最为关键的要素之一。因此,数据传输的安全可靠也变得极为重要。为确保海上风电场数据的安全... 详细信息

在数字经济发展的时代背景下,企业不断面临着数字化转型的压力与挑战。许多能源企业也在积极探索数字化转型的关键要素,数据被大多数人认为是最为关键的要素之一。因此,数据传输的安全可靠也变得极为重要。为确保海上风电场数据的安全可靠传输,该文提出一种基于Kafka的数据传输系统,可以屏蔽复杂网络环境下的不稳定性,保证数据不会丢失。实践和测试结果表明,该系统不仅解决现有数据传输系统在网络不稳定和高并发传输等方面的问题,还具有容量大、传输效率高及动态扩容等特点。该系统不仅有效解决海上风电场数据的安全可靠传输,也为能源行业数据处理提供一种新的思路和工具。

关键词：海上风电场海量数据安全可靠 Kafka 高并发

基于Kafka的数据总线系统关键技术研究与开发

在线全文

学校读者我要写书评

暂无评论

基于Kafka的数据总线系统关键技术研究与开发

作者：高磊郑州大学

学位级别：硕士

当今时代是一个信息大爆炸的时代,生产生活中的每一个角落充满各种各样的信息,企事业单位在信息获取上具有天然优势,是各种各样数据的拥有者。通过数据的高效共享,能够最大限度的挖掘出数据的潜在价值,有助于企事业单位科学管理、创新... 详细信息

当今时代是一个信息大爆炸的时代,生产生活中的每一个角落充满各种各样的信息,企事业单位在信息获取上具有天然优势,是各种各样数据的拥有者。通过数据的高效共享,能够最大限度的挖掘出数据的潜在价值,有助于企事业单位科学管理、创新经营、长远规划。然而现有的数据共享系统存在着各种各样的弊端,要么技术老旧无法适应大数据时代的数据共享需求,要么价格高昂性价比低下,因此,一款支持采集各种异构数据,海量数据高效共享,满足流批一体化数据分析,且成本低廉的数据总线系统极为必要。本论文依托各种开源技术设计开发了一款基于Kafka的数据总线系统。对系统进行了需求分析,详细阐述了用户对数据采集、实时计算、数据转储、总线元数据管理、运维监测的功能需求和性能需求,给出了功能模块图、系统架构图、数据流程图,详细阐述了系统具体设计与实现,给出了核心算法与代码,系统完成后通过黑盒测试的方法,对照需求设计测试验证了每一个模块的功能与性能。系统采用微服务体系架构,在JVM开发平台下,以Flume为数据采集组件,Kafka为数据管道,kettle为ETL工具,Spring Cloud为微服开发实施框架,使用JAVA代码实现各个功能模块。

关键词：数据共享数据总线 Kafka 微服务