检索结果-南通市图书馆

基于ELKB+kafka的CFETR PCS日志系统的设计与实现

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于ELKB+Kafka的CFETR PCS日志系统的设计与实现

作者：武坤玉中国科学技术大学

学位级别：硕士

等离子体控制系统(PCS,Plasma Control System)是托卡马克实验装置运行的关键系统之一,PCS日志系统记录了等离子体放电全过程的重要信息,可为系统故障分析和运行操作追溯提供重要依据。针对CFETR(China Fusion Engineering Test Reactor... 详细信息

等离子体控制系统(PCS,Plasma Control System)是托卡马克实验装置运行的关键系统之一,PCS日志系统记录了等离子体放电全过程的重要信息,可为系统故障分析和运行操作追溯提供重要依据。针对CFETR(China Fusion Engineering Test Reactor)PCS长脉冲放电过程稳态运行的要求,PCS系统框架的日志采集模块及日志管理模块正在研发中,目标是设计出一个完备、清晰、便于查看与分析的日志系统,完成对各类PCS日志消息的采集、处理、持久化存储以及可视化的查询与分析。日志系统所管理日志的来源有很多,不仅包括CFETRPCS的功能服务模块产生的操作记录与状态变化信息,还包括EAST(Experimental Advanced Supercon-ducting Tokamak)PCS 历史实验产生的离线日志以及在实验过程中产生的在线日志,因此日志系统的设计必须屏蔽信息来源的差异,完成对不同种类日志信息的统一管理。同时也要考虑多个模块同时向日志系统发送消息的复杂场景,避免消息在传输过程出现并发覆盖的情况。基于此,本文提出了基于ELKB+kafka的CFETR PCS日志系统。kafka不仅完成了对日志消息的分类和缓存,而且作为日志采集和日志管理之间的消息中间件,使日志管理的过程相对独立,不受限于日志的来源和日志采集的方式。系统在日志采集阶段利用多生产者-单消费者的设计模式,实现了对日志消息发送和接收过程的并发处理。另外,日志采集和日志管理之间完全解耦,保证了不会因为在日志处理阶段出现异常情况而导致对PCS系统的稳定性造成影响。由于目前CFETRPCS还处于开发阶段,因此系统在实现部分主要利用EAST PCS产生的日志信息来进行测试与验证。总体来看,利用该系统可以让实验人员高效便捷地查看放电过程中PCS的关键出错信息、自定义检索过滤条件、对异常情况进行分析、查看界面操作记录,也可以让PCS开发人员很方便地捕捉CFETR PCS各组件之间的交互信息和重要操作记录并最终完成关键日志信息的持久化存储。

关键词： CFETR PCS日志消息并发处理 kafka ELKB EAST

Improvement Design for Distributed Real-Time Stream Processing Systems

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

Journal of Electronic Science and Technology 2019年第1期17卷 3-12页

作者： Wei Jiang Liu-Gen Xu Hai-Bo Hu Yue Ma the School of Information and Software Engineering University of Electronic Science and Technology of China the Department of Computer Science and Engineering University of Notre Dame

In the era of Big Data, typical architecture of distributed real-time stream processing systems is the combination of Flume, kafka, and Storm. As a kind of distributed message system, kafka has the characteristics of horizontal scalability and high throughput, which is manly deployed in many areas in order to address the problem of speed mismatch between message producers and consumers. When using kafka, we need to quickly receive data sent by producers. In addition, we need to send data to consumers quickly. Therefore, the performance of kafka is of critical importance to the performance of the whole stream processing system. In this paper, we propose the improved design of real-time stream processing systems, and focus on improving the kafka's data loading process.We use kafka cat to transfer data from the source to kafka topic directly, which can reduce the network transmission. We also utilize the memory file system to accelerate the process of data loading, which can address the bottleneck and performance problems caused by disk I/O. Extensive experiments are conducted to evaluate the performance, which show the superiority of our improved design.

关键词： kafka kafka cat memory file system message queue real-time stream processing system

kafka在微众平台双路由应急切换中的探索与应用

在线全文

学校读者我要写书评

暂无评论

广东通信技术 2022年第8期42卷 67-71页

作者：黄凯方刘诚吴文波中国电信广东分公司中国电信广东分公司智能云网调度运营中心

针对政企客户越来越高的话务保障要求,通过kafka开源组件以及编写java程序,提出了一种完全实时监控客户话务路由以及快速处理的实现方式,能够快速、准确地处理政企客户双路由话务保障的各种问题。

关键词： kafka 双路由切换

基于kafka的海上风电场数据传输系统设计与实现

在线全文

学校读者我要写书评

暂无评论

科技创新与应用 2023年第31期13卷 26-31页

作者：余建忠谭任深中国能源建设集团广东省电力设计研究院有限公司广州510663

在数字经济发展的时代背景下,企业不断面临着数字化转型的压力与挑战。许多能源企业也在积极探索数字化转型的关键要素,数据被大多数人认为是最为关键的要素之一。因此,数据传输的安全可靠也变得极为重要。为确保海上风电场数据的安全... 详细信息

在数字经济发展的时代背景下,企业不断面临着数字化转型的压力与挑战。许多能源企业也在积极探索数字化转型的关键要素,数据被大多数人认为是最为关键的要素之一。因此,数据传输的安全可靠也变得极为重要。为确保海上风电场数据的安全可靠传输,该文提出一种基于kafka的数据传输系统,可以屏蔽复杂网络环境下的不稳定性,保证数据不会丢失。实践和测试结果表明,该系统不仅解决现有数据传输系统在网络不稳定和高并发传输等方面的问题,还具有容量大、传输效率高及动态扩容等特点。该系统不仅有效解决海上风电场数据的安全可靠传输,也为能源行业数据处理提供一种新的思路和工具。

关键词：海上风电场海量数据安全可靠 kafka 高并发

大数据平台的测震数据流实时可视化系统设计与实现

在线全文

学校读者我要写书评

暂无评论

测绘地理信息 2022年第4期47卷 77-81页

作者：刘禹李胜乐李力中国地震局地震研究所湖北武汉430071

为了探索大数据平台下的海量数据实时可视化技术,基于最新的HTML5(hyper text markup language 5)标准,以kafka为数据接口,Websocket为通信协议,Echarts为前端渲染组件,设计和实现了一套B/S(browser/server)架构的测震数据流实时可视化... 详细信息

为了探索大数据平台下的海量数据实时可视化技术,基于最新的HTML5(hyper text markup language 5)标准,以kafka为数据接口,Websocket为通信协议,Echarts为前端渲染组件,设计和实现了一套B/S(browser/server)架构的测震数据流实时可视化系统。系统测试表明:本系统可实现数据流高效实时传输与可视化,相比较于传统可视化软件系统,具有前后端双工实时通信、大连接数、大吞吐量、服务器端负载低、美观简洁等诸多优点,能够满足未来大数据平台对海量数据的实时可视化要求。

关键词：测震数据流 kafka Websocket协议 ECharts 实时传输与可视化

基于Netty和kafka的工程机械车联网数据采集系统设计方案

在线全文

学校读者我要写书评

暂无评论

智能物联技术 2022年第4期54卷 30-35页

作者：王飞孙娇娇丁文文徐工汉云技术股份有限公司江苏徐州221004 中国矿业大学经济管理学院江苏徐州221116 淮北师范大学数学科学学院安徽淮北235000

针对传统工程机械车联网平台在处理高并发、高吞吐量的海量数据时出现堵塞、延时的问题,设计了一种基于Netty和kafka的高性能数据采集处理系统。首先,在数据接入方面,通过“负载均衡”进行数据分发,减少单台服务器的负载,提高系统整体... 详细信息

针对传统工程机械车联网平台在处理高并发、高吞吐量的海量数据时出现堵塞、延时的问题,设计了一种基于Netty和kafka的高性能数据采集处理系统。首先,在数据接入方面,通过“负载均衡”进行数据分发,减少单台服务器的负载,提高系统整体的高并发、低延迟处理能力;然后充分利用Netty的NIO异步传输机制,使用Redis缓存策略,解决访问业务数据库IO开销大的问题,提高处理效率;最后,通过kafka的异步通信机制将数据接入与业务处理进行解耦,解决因Netty线程被阻塞而导致通讯链路堵塞问题。实验证明,与传统的数据接入系统相比,该系统具备高吞吐、低延迟、易扩展等优势,能够满足工程机械车联网的数据采集实时性要求。

关键词：车联网 Netty kafka 工程机械

基于Flink与kafka的信贷逾期预测系统的设计与实现

在线全文

学校读者我要写书评

暂无评论

电脑知识与技术 2023年第21期19卷 49-51页

作者：韦海兰黄杰桂林信息科技学院广西桂林541214

当前大数据技术方兴未艾,金融业正经历“大数据+金融”的应用架构转型阶段。文章分析了经典机器学习算法在大数据背景下信贷逾期预测应用场景的不足,提出使用Flink实时流计算引擎和kafka实时消息系统进行大数据机器学习的方法,并将CatBo... 详细信息

当前大数据技术方兴未艾,金融业正经历“大数据+金融”的应用架构转型阶段。文章分析了经典机器学习算法在大数据背景下信贷逾期预测应用场景的不足,提出使用Flink实时流计算引擎和kafka实时消息系统进行大数据机器学习的方法,并将CatBoost算法应用在信贷逾期预测系统中,取得良好效果。

关键词：大数据 Flink kafka CatBoost算法

基于kafka的公交GPS数据实时通讯系统的设计与应用

在线全文

学校读者我要写书评

暂无评论

城市公共交通 2022年第6期288卷 34-37,41页

作者：何伟王浩綦忠平济南公共交通集团有限公司济南250013

公交车辆运行数据的实时完整准确,是满足市民出行信息需求、公交企业运营管理需要的重要保障。智能调度GPS系统数据实时性强、数据量大、对接系统多,研究利用大数据技术实现公共交通企业海量GPS数据的实时处理具有非常重要的意义。本文... 详细信息

公交车辆运行数据的实时完整准确,是满足市民出行信息需求、公交企业运营管理需要的重要保障。智能调度GPS系统数据实时性强、数据量大、对接系统多,研究利用大数据技术实现公共交通企业海量GPS数据的实时处理具有非常重要的意义。本文基于分布式发布-订阅消息系统(kafka)技术设计公交GPS数据实时通讯系统,采用分布式消息队列处理海量并发数据,对平台技术选型和系统架构进行了介绍,并通过系统实际应用验证系统对高吞吐并发数据流的应对处理能力。

关键词： GPS kafka 实时处理大数据技术

基于Spark Streaming、kafka构建数据中心加工引擎的实践

在线全文

学校读者我要写书评

暂无评论

网络安全技术与应用 2023年第3期 51-53页

作者：叶惠仙福建农业职业技术学院信息工程学院福建350007

本文针对数据加工目前存在无法对变动的数据进行实时的数据捕捉、变换以及投递到程序进行数据计算,数据的实时计算力比较差,对数据缓冲的效率不高,不能控制数据流速度。在大量数据查询的情况,效率不高,性能不佳等问题。提出用OGG(Oracle... 详细信息

本文针对数据加工目前存在无法对变动的数据进行实时的数据捕捉、变换以及投递到程序进行数据计算,数据的实时计算力比较差,对数据缓冲的效率不高,不能控制数据流速度。在大量数据查询的情况,效率不高,性能不佳等问题。提出用OGG(Oracle Golden Gate)For Big Data整合Spark Streaming以及kafka实现高可靠、高效、实时、高扩展性的数据加工引擎,实现数据的实时加工到数据集市中。并经过一系列加工、整理和汇总来满足数据处理的需要,并对业务数据通过实时同步加工整合记录数据,按需设计,形成各异依据应用。

关键词： OGG For Big Data Spark Streaming kafka 数据集市加工引擎