检索结果-南通市图书馆

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

分布式消息系统研究综述

计算机科学 2019年第B6期46卷 1-5,34页

作者：吴璨王小宁肖海力曹荣强赵一宁迟学斌中国科学院计算机网络信息中心北京100190 中国科学院大学北京100049

随着大数据时代的到来,各类软硬件系统的高并发访问、海量数据处理等需求越来越多,系统的高可用、易伸缩、可扩展成为系统研发的首要目标,分布式系统应运而生,提供了满足高性能需求的解决方案。然而,系统分布式地部署在不同的计算机上,... 详细信息

随着大数据时代的到来,各类软硬件系统的高并发访问、海量数据处理等需求越来越多,系统的高可用、易伸缩、可扩展成为系统研发的首要目标,分布式系统应运而生,提供了满足高性能需求的解决方案。然而,系统分布式地部署在不同的计算机上,使得系统间的消息通信成为重要问题。文章综述了4种流行的开源分布式消息系统,对比分析了RabbitMQ,kafka,ActiveMQ和RocketMQ的架构及性能,为科研人员和系统开发者选择分布式消息系统提供了参考意见。

关键词：分布式消息系统 RabbitMQ kafka ActiveMQ RocketMQ

在线全文

学校读者我要写书评

暂无评论

基于kafka消息队列的文本处理技术研究

软件导刊.教育技术 2016年第12期15卷 87-89页

作者：王仲生绍兴职业技术学院浙江绍兴312000

随着网络应用的发展,日志处理的技术要求日益提高。kafka是一个由运行在集群的数据生产者(Producer)、代理(Broker)、消费者(Consumer)构成的分布式发布/订阅的消息处理系统,通过实现了kafka消息技术,并于java程序文本处理对照,kafka对... 详细信息

随着网络应用的发展,日志处理的技术要求日益提高。kafka是一个由运行在集群的数据生产者(Producer)、代理(Broker)、消费者(Consumer)构成的分布式发布/订阅的消息处理系统,通过实现了kafka消息技术,并于java程序文本处理对照,kafka对文本处理效率明显高效。

关键词： kafka 消息处理生产者消费者

基于kafka消息的云化计费系统研究与实现

在线全文

学校读者我要写书评

暂无评论

基于kafka消息的云化计费系统研究与实现

2018中国信息通信大会(CICC2018)

在分析传统计费架构面临各种瓶颈的基础上,提出基于消息的云化计费系统实现方案,方案在应用平台x86化的基础上引入成熟的云计算技术,将传统架构升级为基于kafka消息传输的云化架构,采用分布式Redis内存数据库集群为整个计费应用提供资... 详细信息

在分析传统计费架构面临各种瓶颈的基础上,提出基于消息的云化计费系统实现方案,方案在应用平台x86化的基础上引入成熟的云计算技术,将传统架构升级为基于kafka消息传输的云化架构,采用分布式Redis内存数据库集群为整个计费应用提供资料数据服务,采用分布式应用部署,使得计费系统可以动态扩展,显著提升系统处理能力,满足业务发展和转型的要求。

关键词：计费云计算消息分布式 kafka Redis

来源： cnki会议评论

在线全文

cnki会议

学校读者我要写书评

暂无评论

基于Spark的分布式大数据分析算法研究

计算机应用与软件 2019年第1期36卷 39-44页

作者：宋泊东张立臣江其洲广东工业大学计算机学院广东广州510006

随着大数据时代的到来,数据计算的实时性和数据量面临许多挑战。为了满足庞大的数据量和大数据高速处理的要求,研究将Apache作为一种集成的资源管理系统。采用Apache Storm、Apache Spice及SARK RDD处理大型分布式实时数据流,使用Apache... 详细信息

随着大数据时代的到来,数据计算的实时性和数据量面临许多挑战。为了满足庞大的数据量和大数据高速处理的要求,研究将Apache作为一种集成的资源管理系统。采用Apache Storm、Apache Spice及SARK RDD处理大型分布式实时数据流,使用Apache kafka作为消息中间件来支持异步消息的通信。设计一种支持并行运算规则的分布式大数据分析处理算法。实验结果表明:该算法可有效降低海量数据的分析速度,且支持系统内各子系统间的异构信息沟通与数据存储,足以满足高频交易市场的短期趋势预测需求。在高频、大数据处理系统中具有较高的应用价值。

关键词： Apache kafka 分布式 Spark RDD n层实时数据流

在线全文

学校读者我要写书评

暂无评论

支持工作流的实时大数据处理平台设计与实现

支持工作流的实时大数据处理平台设计与实现

作者：贾韶光北京邮电大学

学位级别：硕士

近几年来,大数据已经渗透到人类生活的方方面面。随着移动互联网和物联网的发展,我国大数据产业的发展也进入爆发期,大数据已经上升为国家战略。大数据处理系统也有了更多样的业务需求,导致支撑大数据处理的各项技术逐步走向成熟。把不... 详细信息

近几年来,大数据已经渗透到人类生活的方方面面。随着移动互联网和物联网的发展,我国大数据产业的发展也进入爆发期,大数据已经上升为国家战略。大数据处理系统也有了更多样的业务需求,导致支撑大数据处理的各项技术逐步走向成熟。把不同的技术融合成一个大型的大数据处理系统,这样的系统架构在实际生产中得到了广泛应用。但是其学习成本和维护成本非常高,同一个开发者很难维护和扩展这么多复杂技术融合而成的系统。针对以上问题,结合课题组的项目,本文设计并实现了支持工作流的实时大数据处理系统。本文首先研究了mxGraph框架的组织结构和底层实现原理,将其与Web技术结合,搭建了支持工作流的大数据管理平台。在此基础上,总结了大数据处理关键技术Flume、kafka的相关配置和Spark Streaming的工作原理,部署了大数据处理系统。最后将可视化信息管理平台与大数据处理系统结合在一起,实现了支持工作流的实时大数据处理系统。系统设计的核心功能体现在可以通过支持工作流的大数据管理平台实现大数据处理的可视化配置。将大数据处理系统的配置信息统一提取出来,交由大数据管理平台统一配置管理。大数据管理平台使用XML格式的数据传递配置信息,配置信息通过校验后,可以在数据库中进行读写,也可以写入大数据处理系统的配置文件。通过可视化配置,将工作流程组织成符合逻辑和规则的大数据处理流程,控制大数据处理系统在计算机中以恰当的方式实施大数据处理。开发者只需要学习大数据处理技术的原理,掌握大数据处理技术平台的配置参数和简单的数据流向,就可以轻松实现实时数据处理业务。本文解决了开发系统难度大和维护成本高的问题,同时系统可扩展性好,而且针对每个大数据处理系统的每个步骤,都可以有实时反馈信息。

关键词：大数据处理 Flume kafka mxGraph 工作流

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

面向NFV的运维系统的设计与实现

面向NFV的运维系统的设计与实现

作者：肖宁南京大学

学位级别：硕士

网络运营商用于搭建网络的硬设备种类过多,经常因开发新业务而需要增加新设备,而这使成本增加,复杂度也大幅提升,这对设计,集成和运营都造成了极大的困难,于是可以对软硬件解耦的NFV(网络功能虚拟化)技术应运而生。随着5G时代到来,公司... 详细信息

网络运营商用于搭建网络的硬设备种类过多,经常因开发新业务而需要增加新设备,而这使成本增加,复杂度也大幅提升,这对设计,集成和运营都造成了极大的困难,于是可以对软硬件解耦的NFV(网络功能虚拟化)技术应运而生。随着5G时代到来,公司对NFV技术也有了新的要求,以往使用的运维系统和人工运维的方式已经无法满足,于是华为自研开发了面向NFV的运维系统,旨在降低运维成本,提升运维效率,发生故障时准确定位问题,实现运维信息可视化、可控化。本文阐述了华为技术有限公司面向NFV的运维系统的研究背景与意义,研究总结了智能运维系统的现状与措施手段,结合公司内部健康监控框架,探究出全新的运维系统构建方案。本文在上述研究的基础上,围绕着面向NFV的运维系统的设计和实现,开展了以下的工作:(1)对现有智能运维系统及框架的分析与研究对国内外及公司内部的智能运维系统进行分析与研究,包括开源的运维工具Nagios、阿里的鹰眼系统、公司内部的e Service智能运维系统和Fabric Insight数据中心网络分析器等。(2)基于华为智能运维框架进行系统的分析与设计在上述研究的基础上,结合公司内部现有的智能运维框架将系统分为五个模块:系统管理模块、数据采集模块、数据分析模块、数据管理模块以及可视化界面模块,并针对NFV的具体应用情况及具体的业务需求进行了需求分析与设计。(3)面向NFV的运维系统部分模块的具体实现在需求分析与设计的基础上,主要对数据采集模块、数据分发模块和数据管理模块的具体实现进行了详细描述,并附有详细代码进行阐述。通过运行结果表明,该系统能够进行有效使用。

关键词： kafka Gauss DB React Spring Boot框架

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于kafka理论的机载数据分发软件设计

航空计算技术 2021年第2期51卷 93-96页

作者：郑涛刘文学解文涛张双郭玉洁李昊昱航空工业西安航空计算技术研究所陕西西安710068

民用飞机的设备采用高速总线互联和大量业务软件驻留,频繁的业务交互产生了大量的数据,而且多个服务需要向同一个服务请求数据,而如何向多个服务高效快速地提供数据是面临的难题。kafka是一个分布式消息系统,在互联网的大数据分发场景... 详细信息

民用飞机的设备采用高速总线互联和大量业务软件驻留,频繁的业务交互产生了大量的数据,而且多个服务需要向同一个服务请求数据,而如何向多个服务高效快速地提供数据是面临的难题。kafka是一个分布式消息系统,在互联网的大数据分发场景中被广泛使用,提高了互联网业务的数据快速分发能力和数据吞吐量。鉴于kafka快速高效的分发能力,将kafka技术应用于航空业务领域,设计了基于kafka理论的机载数据分发软件,给出了机载数据分发软件架构,支持多个应用同时订阅发布数据,能够满足机载系统中数据快速高效分发的要求。

关键词： kafka 机载数据分发软件架构

Hive和kafka在数据稽核和同步中的应用

在线全文

学校读者我要写书评

暂无评论

中国新通信 2021年第6期23卷 95-97页

作者：曹建华徐晨敏郭昱含中国电信集团客服运营支撑中心

中国电信自主测评管理平台使用了Hadoop数据仓库工具Hive对基础数据进行合规性稽核,稽核后的数据通过Sqoop工具同步至Oracle关系数据库。针对多批次百万级数据量并行同步会导致Oracle负载过大影响正常OLTP的情况,通过应用kafka消息队列,... 详细信息

中国电信自主测评管理平台使用了Hadoop数据仓库工具Hive对基础数据进行合规性稽核,稽核后的数据通过Sqoop工具同步至Oracle关系数据库。针对多批次百万级数据量并行同步会导致Oracle负载过大影响正常OLTP的情况,通过应用kafka消息队列,将Hive与Oracle之间的数据并行同步改为异步模式下可按需设置串行/并行同步,问题得到有效解决。

关键词： Hadoop Hive Sqoop kafka

在线全文

学校读者我要写书评

暂无评论

基于kafka技术的超大城市车辆预警系统

基于KAFKA技术的超大城市车辆预警系统