检索结果-南通市图书馆

利用kafka实现大话务并发数据流的吞吐系统

在线全文

学校读者我要写书评

暂无评论

电信科学 2018年第S2期34卷 134-139页

作者：唐颖淳中国电信股份有限公司上海分公司政企客服部

为了解决中国电信股份有限公司上海分公司的统一消息推送平台的数据吞吐量较低,无法满足新的业务需求的问题,采用流式数据处理技术实现了一种基于运营商的大话务业务系统构建模式。首先,在充分研究了业内实时流式处理技术的发展以及运... 详细信息

为了解决中国电信股份有限公司上海分公司的统一消息推送平台的数据吞吐量较低,无法满足新的业务需求的问题,采用流式数据处理技术实现了一种基于运营商的大话务业务系统构建模式。首先,在充分研究了业内实时流式处理技术的发展以及运营商本身信令数据源的特点之后,确定以kafka作为消息队列组件,在业务处理过程中为了提供毫秒级的数据流查询能力,采用了Redis组件提供基于内存的Key-Value引擎。另外,为实现平台的高可靠性及易维护性,采用kafka+Elasticsearch+Logstash+Kiban实现了日志监控子系统。最后对应用情况进行分析,并对系统的进一步改进提出了建议。

关键词：流处理高吞吐量高并发 kafka Redis Elasticsearch+Logstash+Kibana

一种物联网设施管理系统中的kafka优化方法

在线全文

学校读者我要写书评

暂无评论

计算机与数字工程 2021年第3期49卷 546-549页

作者：顾鑫程淑玲武汉邮电科学研究院武汉430074 烽火通信科技股份有限公司武汉430074

在有海量消息数据上报和处理的物联网设施管理系统中添加kafka消息中间件能够异步地传输消息,增加了微服务系统的灵活性和可扩展性,但其带来的影响比如延时和资源消耗也是实际运用中需要考虑的。论文提出了一种基于优化kafkaProducer中S... 详细信息

在有海量消息数据上报和处理的物联网设施管理系统中添加kafka消息中间件能够异步地传输消息,增加了微服务系统的灵活性和可扩展性,但其带来的影响比如延时和资源消耗也是实际运用中需要考虑的。论文提出了一种基于优化kafkaProducer中Serializer接口的内存分配的改进方案,降低了添加kafka消息中间件造成的额外资源消耗,为kafka的应用打下了基础。

关键词： kafka 异步内存分配优化

在线全文

学校读者我要写书评

暂无评论

基于kafka理论的机载数据分发软件设计

航空计算技术 2021年第2期51卷 93-96页

作者：郑涛刘文学解文涛张双郭玉洁李昊昱航空工业西安航空计算技术研究所陕西西安710068

民用飞机的设备采用高速总线互联和大量业务软件驻留,频繁的业务交互产生了大量的数据,而且多个服务需要向同一个服务请求数据,而如何向多个服务高效快速地提供数据是面临的难题。kafka是一个分布式消息系统,在互联网的大数据分发场景... 详细信息

民用飞机的设备采用高速总线互联和大量业务软件驻留,频繁的业务交互产生了大量的数据,而且多个服务需要向同一个服务请求数据,而如何向多个服务高效快速地提供数据是面临的难题。kafka是一个分布式消息系统,在互联网的大数据分发场景中被广泛使用,提高了互联网业务的数据快速分发能力和数据吞吐量。鉴于kafka快速高效的分发能力,将kafka技术应用于航空业务领域,设计了基于kafka理论的机载数据分发软件,给出了机载数据分发软件架构,支持多个应用同时订阅发布数据,能够满足机载系统中数据快速高效分发的要求。

关键词： kafka 机载数据分发软件架构

基于kafka和Redis的智慧社区用户数据采集系统设计

在线全文

学校读者我要写书评

暂无评论

计算机与网络 2024年第1期 28-32页

作者：党执政河北化工医药职业技术学院

提出了基于kafka和Redis的智慧社区用户数据采集系统设计方案，采用消息队列和数据缓存的设计理念对用户数据处理和存储提出了具体的技术解决方案。基于kafka消息队列实现数据的异步有序处理和存储，基于Redis缓存数据库实现数据的快速... 详细信息

提出了基于kafka和Redis的智慧社区用户数据采集系统设计方案，采用消息队列和数据缓存的设计理念对用户数据处理和存储提出了具体的技术解决方案。基于kafka消息队列实现数据的异步有序处理和存储，基于Redis缓存数据库实现数据的快速暂存和读取。通过智慧社区用户数据采集系统保证用户数据采集的时效性和可靠性，满足了当前智慧社区用户数据量快速增长对数据采集系统的需求。

关键词：智慧社区数据采集 Redis kafka 架构设计

基于kafka的公交GPS数据实时通讯系统的设计与应用

同方期刊数据库博看期刊评论

在线全文

学校读者我要写书评

暂无评论

城市公共交通 2022年第6期288卷 34-37,41页

作者：何伟王浩綦忠平济南公共交通集团有限公司济南250013

公交车辆运行数据的实时完整准确,是满足市民出行信息需求、公交企业运营管理需要的重要保障。智能调度GPS系统数据实时性强、数据量大、对接系统多,研究利用大数据技术实现公共交通企业海量GPS数据的实时处理具有非常重要的意义。本文... 详细信息

公交车辆运行数据的实时完整准确,是满足市民出行信息需求、公交企业运营管理需要的重要保障。智能调度GPS系统数据实时性强、数据量大、对接系统多,研究利用大数据技术实现公共交通企业海量GPS数据的实时处理具有非常重要的意义。本文基于分布式发布-订阅消息系统(kafka)技术设计公交GPS数据实时通讯系统,采用分布式消息队列处理海量并发数据,对平台技术选型和系统架构进行了介绍,并通过系统实际应用验证系统对高吞吐并发数据流的应对处理能力。

关键词： GPS kafka 实时处理大数据技术

在线全文

学校读者我要写书评

暂无评论

基于kafka消息队列的文本处理技术研究

软件导刊.教育技术 2016年第12期15卷 87-89页

作者：王仲生绍兴职业技术学院浙江绍兴312000

随着网络应用的发展,日志处理的技术要求日益提高。kafka是一个由运行在集群的数据生产者(Producer)、代理(Broker)、消费者(Consumer)构成的分布式发布/订阅的消息处理系统,通过实现了kafka消息技术,并于java程序文本处理对照,kafka对... 详细信息

随着网络应用的发展,日志处理的技术要求日益提高。kafka是一个由运行在集群的数据生产者(Producer)、代理(Broker)、消费者(Consumer)构成的分布式发布/订阅的消息处理系统,通过实现了kafka消息技术,并于java程序文本处理对照,kafka对文本处理效率明显高效。

关键词： kafka 消息处理生产者消费者

利用kafka技术实现用户实时账单的短信提醒功能

在线全文

学校读者我要写书评

暂无评论

数字通信世界 2017年第11期 211-213页

作者：杨洁中国联通山西省分公司信息化事业部

利用基于消息的实时同步机制的kafka技术,来实现各个系统之间的数据实时同步,是目前通信运营商采用的高效同步技术,可实现用户实时账单的短信提醒功能,从不同系统之间同步所有用户数据到一个系统,再根据统一口径对数据进行整合处理,实... 详细信息

利用基于消息的实时同步机制的kafka技术,来实现各个系统之间的数据实时同步,是目前通信运营商采用的高效同步技术,可实现用户实时账单的短信提醒功能,从不同系统之间同步所有用户数据到一个系统,再根据统一口径对数据进行整合处理,实现业务需求。

关键词： kafka 实时同步接口实时账单短信提醒

基于Flume、kafka的日志采集系统分析研究

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

电子技术与软件工程 2022年第10期 255-258页

作者：李柯西北工业大学陕西省西安市710000

本文对数据采集工具flume、kafka进行简单介绍、分析研究和应用,对flume+kafka的组合优势和原理进行阐述分析。本文通过多种flume和kafka组件种类的组合,在日志采集系统上的应用进行了分析,并对channel组件吞吐速率和容错率之间的矛盾... 详细信息

本文对数据采集工具flume、kafka进行简单介绍、分析研究和应用,对flume+kafka的组合优势和原理进行阐述分析。本文通过多种flume和kafka组件种类的组合,在日志采集系统上的应用进行了分析,并对channel组件吞吐速率和容错率之间的矛盾进行讨论研究。数据采集已成为大数据产业的重要组成部分,而日志文件逐渐成为数据分析的主要来源之一。日志文件生成速度快、来源广,使得实时日志采集系统的开发与更新变得至关重要。分布式日志采集系统正在朝着负载均衡、高容错、高可靠的方向发展。

关键词： Flume kafka 日志采集数据采集

基于Spark Streaming、kafka构建数据中心加工引擎的实践

在线全文

学校读者我要写书评

暂无评论

网络安全技术与应用 2023年第3期 51-53页

作者：叶惠仙福建农业职业技术学院信息工程学院福建350007

本文针对数据加工目前存在无法对变动的数据进行实时的数据捕捉、变换以及投递到程序进行数据计算,数据的实时计算力比较差,对数据缓冲的效率不高,不能控制数据流速度。在大量数据查询的情况,效率不高,性能不佳等问题。提出用OGG(Oracle... 详细信息

本文针对数据加工目前存在无法对变动的数据进行实时的数据捕捉、变换以及投递到程序进行数据计算,数据的实时计算力比较差,对数据缓冲的效率不高,不能控制数据流速度。在大量数据查询的情况,效率不高,性能不佳等问题。提出用OGG(Oracle Golden Gate)For Big Data整合Spark Streaming以及kafka实现高可靠、高效、实时、高扩展性的数据加工引擎,实现数据的实时加工到数据集市中。并经过一系列加工、整理和汇总来满足数据处理的需要,并对业务数据通过实时同步加工整合记录数据,按需设计,形成各异依据应用。

关键词： OGG For Big Data Spark Streaming kafka 数据集市加工引擎