检索结果-南通市图书馆

Research on Establish an Efficient Log Analysis System with kafka and Elastic Search

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

Journal of Software Engineering and Applications 2017年第11期10卷 843-853页

作者： Yuanzhou Wei Manman Li Binsen Xu Beihang University Beijing China Henan University of Economics and Law Zhengzhou China

Search logs in a timely and efficient manner are an important part of SRE (Site Reliability Engineer). Logs help us solve the problems during our development work. In this paper, we will introduce you a way how to build an efficient logs analysis system based on kafka and Elastic Search. We hope you can learn something through the iteration of the Version and get some inspiration with your own log analysis system.

关键词： Log Analysis System kafka Elastic Search Software Applications Site Reliability Engineer

Meteorological Sensor Data Storage Mechanism Based on TimescaleDB and kafka

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

国际计算机前沿大会会议论文集 2019年第1期 145-147页

作者： Liqun Shen Yuansheng Lou Yong Chen Ming Lu Feng Ye College of Computer and Information Hohai University Nanjing 211100 China Postdoctoral Centre Nanjing Longyuan Micro-Electronic Company Nanjing 211106 China Jiangsu Water Resources Department Nanjing China

The scale of meteorological sensor data increases at TB level every week. Traditional relational database is inefficient in storing and processing such data and cannot satisfy many soft requirements. However, the heterogeneity and diversity of the numerous existing NoSQL systems impede the well-informed comparison and selection of a data store appropriate for a given application context. Implementing a meteorological sensor data storage mechanism is a key challenge. Therefore, a meteorological sensor data storage mechanism based on TimescaleDB and kafka is proposed. In this solution, meteorological sensor data was acquired and transmitted by kafka and was sent to TimescaleDB for storage and analysis. Based on simulated meteorological sensor dataset, it compared the solution with other NoSQL stores such as Redis, MongoDB, Cassandra, HBase and Riak TS. The experimental results show that the storage mechanism proposed is superior in the storage and processing of massive meteorological sensor data.

关键词： NoSQL Meteorological sensor data kafka TimescaleDB

kafka节点认证的电力用户信息联盟链管理技术研究

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

计算机应用与软件 2024年第11期41卷 33-38,52页

作者：许俊晓崔昊杨上海电力大学电子与信息工程学院上海200090

为了保障电力用户信息的安全和隐私,提出一种基于联盟区块链技术的电力用户信息管理系统,利用联盟链去中心化、不可篡改等特点保证信息安全。同时,为了提高系统运行效率,采用kafka作为共识机制,并且使用改进2FA双因子认证技术来保证登... 详细信息

为了保障电力用户信息的安全和隐私,提出一种基于联盟区块链技术的电力用户信息管理系统,利用联盟链去中心化、不可篡改等特点保证信息安全。同时,为了提高系统运行效率,采用kafka作为共识机制,并且使用改进2FA双因子认证技术来保证登入节点的合法性,进一步增强对电力用户信息的保护。系统通过链码和前端的设计,可以实现对用户信息的查询和修改。从不可篡改性、隐私性和抗攻击性三方面论证了系统的安全性,通过测试证明了系统的可用性和高效性。

关键词：联盟链电力用户信息 kafka 改进双因子节点认证链码

基于ELKB+kafka的CFETR PCS日志管理系统的设计与实现

在线全文

学校读者我要写书评

暂无评论

计算机应用与软件 2024年

作者：武坤玉袁旗平张睿瑞中科院等离子体物理研究所中国科学技术大学

等离子体控制系统(PCS，Plasma Control System)是托卡马克装置运行的关键系统，控制等离子体放电全过程并提供装置安全的第一级保护。基于开源的实时日志管理平台ELKB，并引入消息中间件kafka，为中国聚变工程实验堆(CFETR， China Fus... 详细信息

等离子体控制系统(PCS，Plasma Control System)是托卡马克装置运行的关键系统，控制等离子体放电全过程并提供装置安全的第一级保护。基于开源的实时日志管理平台ELKB，并引入消息中间件kafka，为中国聚变工程实验堆(CFETR， China Fusion Engineering Test Reactor)的PCS设计了日志管理系统，解决了现有的PCS日志系统对于日志信息的查看很不方便，并且信息冗杂，也无数据归档的问题，实现对PCS日志的关键出错信息的查看、相关错误发生时间的查询、自定义检索过滤条件、按照日期查看操作记录以及持久化存储的功能。目前该系统已实现在东方超环(EAST， Experimental Advanced Superconducting Tokamak)上的部署并成功应用。

关键词： PCS日志 ELKB kafka CFETR EAST

Paradox and Alienation in kafka's short story—A Hunger Artist

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

校园英语 2014年第29期 248-249页

作者：黄雅芬熊美玲南昌工学院

A Hunger Artist, one of Franz kafka’s favorite works, arouses critics’ great *** permeates the entire story and is vividly displayed in *** is the major theme of the *** the other hand, the short story traces out a ... 详细信息

关键词： A Hunger Artist paradox alienation kafka

基于Netty和kafka的物联网数据接入系统

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

计算机工程与应用 2020年第5期56卷 135-140页

作者：甄凯成黄河宋良图中国科学院合肥智能机械研究所合肥230031 中国科学技术大学合肥230026

当前在物联网应用中,大量采集终端被用于感知环境、定位服务、状态监测等应用,并源源不断地上传数据,在提产助效的同时,给远程服务端数据收集及实时处理带来巨大挑战。利用Netty网络通信库构造高性能的收集端网络通信处理服务并设计出... 详细信息

当前在物联网应用中,大量采集终端被用于感知环境、定位服务、状态监测等应用,并源源不断地上传数据,在提产助效的同时,给远程服务端数据收集及实时处理带来巨大挑战。利用Netty网络通信库构造高性能的收集端网络通信处理服务并设计出可供采集终端与收集端使用的通信协议,剥离出网络通信业务中耗时操作并将数据推送至流式消息处理系统kafka中,再由kafka消费者负责后续数据持久化、实时分析工作。由此实现一个支持高并发、低延迟的数据接入系统。实验结果表明,在万级别连接情况下,该系统能正常工作且保持较快的响应速度。

关键词：物联网数据网络通信 Netty kafka

基于时间序列模型的kafka系统智能化管理方法

在线全文

学校读者我要写书评

暂无评论

高技术通讯 2023年第10期33卷 1047-1059页

作者：周宇泽司鹏搏张延华李萌杨睿哲北京工业大学信息学部北京100124

区块链是分布式的数据存储系统,共识算法为区块链实现安全存储数据提供支撑和保障。kafka作为共识算法中的一种,其高吞吐速率、低时延的特点受到青睐。但使用kafka算法的系统接受大量交易时,易产生数据倾斜,即分布式系统的多节点结构中... 详细信息

区块链是分布式的数据存储系统,共识算法为区块链实现安全存储数据提供支撑和保障。kafka作为共识算法中的一种,其高吞吐速率、低时延的特点受到青睐。但使用kafka算法的系统接受大量交易时,易产生数据倾斜,即分布式系统的多节点结构中,大量数据集中在少数节点,导致系统资源被占用、性能下降。为解决上述问题,本文提出基于时间序列模型长短期记忆网络(LSTM)的智能优化方法。通过学习过往生产者接收到的交易量,预测下一时刻面临的交易量,动态调整生产者节点数量,减少数据集中在少数节点的情况。实验结果显示,本文方法可以将kafka系统时延降低2~3倍,吞吐速率提升2~3倍,与优化前相比系统效率提升52.62%,比2种传统优化方法分别提升近3%和40%,能耗仅小幅提升,系统使用情况保持更加合理。

关键词：区块链 kafka 长短期记忆网络(LSTM) 时间序列模型

在线全文

学校读者我要写书评

暂无评论

面向kafka共识消息传输的负载均衡算法

高技术通讯 2023年第1期33卷 42-49页

作者：苏玉钊孙恩昌杨睿哲李萌张延华司鹏搏张卉北京工业大学信息学部北京100124

kafka是一种高吞吐量消息中间件,但该算法存在负载均衡导致消费者消息处理效率下降的问题。本文提出一种改进的kafka负载均衡算法,其中协调者基于消费者和分区的对应关系,根据不同的负载均衡场景优化调整消费者数目,按照业务负载倒序的... 详细信息

kafka是一种高吞吐量消息中间件,但该算法存在负载均衡导致消费者消息处理效率下降的问题。本文提出一种改进的kafka负载均衡算法,其中协调者基于消费者和分区的对应关系,根据不同的负载均衡场景优化调整消费者数目,按照业务负载倒序的方式更新消费者和分区的对应关系,优先处理负载较大的业务分区,提高消息传输效率,并且搭建Fabric联盟链验证分析算法的性能。实验结果表明,本算法在中央处理器(CPU)资源消耗比其他算法低5%的情况下,共识速度提升了2%~7%,并且在6个kafka节点中3个宕机的情况下仍然能共识上链,提升了kafka负载均衡算法的效率和稳定性。

关键词： kafka 负载均衡区块链消费者优化

在线全文

学校读者我要写书评

暂无评论

kafka流式计算性能优化算法研究

Kafka流式计算性能优化算法研究

作者：谢文康南京邮电大学

学位级别：硕士

大数据时代,kafka作为高吞吐、低延时、高容错的消息队列系统,在实时数据处理、数据广播、数据持久化和系统解耦都有广泛的应用。但是kafka在对接大规模物联网传感器时,可能会导致的数据倾斜,即采用分区机制的分布式系统中,大量数据集... 详细信息

大数据时代,kafka作为高吞吐、低延时、高容错的消息队列系统,在实时数据处理、数据广播、数据持久化和系统解耦都有广泛的应用。但是kafka在对接大规模物联网传感器时,可能会导致的数据倾斜,即采用分区机制的分布式系统中,大量数据集中在少数分区中,使得少数节点的系统资源占用过高,进而导致热点问题,使得数据发送缓慢,资源占用异常,甚至宕机等问题。本文重点针对kafka在对接大规模生产者时的热点问题,做了以下三方面的工作:(1)首先,针对kafka对接大规模生产者时的数据分配不均衡问题,分析了聚类算法存在的计算复杂、集群资源利用不充分的缺陷,提出基于SDG(Sensor Dependency Graph,传感器依赖图)的传感器分布式二次聚类算法DASDG。首先根据传感器元数据,按照信息熵和信息增益将传感器一次聚集为大类,在大类内部构建SDG并以此为依据进行聚类,减少了大类与大类之间的相似度计算,降低了SDG构建复杂度。仿真结果表明,与经典SDG和传统的层次聚类算法相比,DASDG提高了kafka的吞吐率,并且降低了kafka服务器的资源消耗,并且在聚类时间上相比SDG聚类也有了提高。(2)其次,针对kafka在分布式集群中的调优问题,提出基于抽样的kafka自适应性能调优算法ENLHS,首先使用拉丁超立方抽样生成数据集,再用这一数据集进行性能模型训练,用弹性网络模型对数据集进行拟合,以此改进拉丁超立方抽样,进行最优解迭代,进而求得性能最优解的结果。实验结果表明,ENLHS算法得到的配置集能更好的提升kafka的吞吐性能,降低了时延,并且具有更小的误差。(3)设计并实现了基于kafka的中间件原型系统。在系统对接大规模生产者时,可以做到有效将生产者数据进行分配,并且通过自适应的性能优化,让kafka在集群中保持高效和稳定的运行。通过对比默认情况下系统的数据不均衡情况,以及默认配置环境下的kafka性能,本文提出的原型系统在部署后,相对于开源版本的kafka,能在吞吐性能、时延、以及数据不均衡度上有更好的表现。

关键词：消息中间件 kafka 热点问题传感器依赖图加权抽样