检索结果-南通市图书馆

基于Elastic的分布式大数据联机分析处理体系

在线全文

学校读者我要写书评

暂无评论

通讯世界 2020年第10期27卷 68-69,74页

作者：陈志敏中国移动通信集团广西有限公司广西南宁530022

本文介绍了在电信运营商环境下,如何集中管理非结构化文本数据。提出一种轻便的架构,可以降低处理数据的时延,减少中心节点的成本。电信运营商中存在大量的日志数据,如用户的行为数据、话单数据、CDN访问日志、互联网电视的播放数据等等... 详细信息

本文介绍了在电信运营商环境下,如何集中管理非结构化文本数据。提出一种轻便的架构,可以降低处理数据的时延,减少中心节点的成本。电信运营商中存在大量的日志数据,如用户的行为数据、话单数据、CDN访问日志、互联网电视的播放数据等等,这些数据存在数据量大、分析需求多样化的特征。本文基于开源软件,通过两年多的实践经验总结一种方法,在电信运营商中的日志场景下的快速搭建,快速构建查询报表,跨省跨节点快速度查询的技术实践。

关键词： Cross cluster search elk Kafka Flink Elasticsearch

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

空中交通流量管理日志系统研究与设计

江苏科技信息 2019年第24期36卷 42-46页

作者：张佳静王啸南京莱斯信技术股份有限公司江苏南京210014 南京莱斯电子设备有限公司江苏南京210014

空中交通流量管理系统实现了多个机场之间,以及空管、航空公司、机场三方之间航班运行信息的快速有效同步共享,实现多方协调放行,有效缩短航班延误时间.该系统部署于全区域甚至全国各个节点,各使用单位的技术维护力量高低不一,如何快速... 详细信息

空中交通流量管理系统实现了多个机场之间,以及空管、航空公司、机场三方之间航班运行信息的快速有效同步共享,实现多方协调放行,有效缩短航班延误时间.该系统部署于全区域甚至全国各个节点,各使用单位的技术维护力量高低不一,如何快速收集各地系统日志、如何提高系统日志处理效率、如何远程定位解决问题是系统后期运行维护的关键,这也已经成为空中管理信息化部门关注的重要问题.文章设计并实现了一种基于elk技术的空中交通流量管理日志系统.实验表明,该系统具备配置方式灵活、便于扩容、实时采集、检索性能高效、可视化等优点,能有效地提高空中流量管理系统的运维效率.

关键词：空中交通流量管理 elk 分布式日志采集日志分析

在线全文

学校读者我要写书评

暂无评论

海量日志采集可视化平台设计

福建电脑 2021年第12期37卷 117-120页

作者：贾继洋徐涛潘文文李旭宏枣庄学院信息科学与工程学院山东枣庄277160

海量数据应用场景下,传统的elk架构因LogStash占用资源过多等问题,会出现性能瓶颈。本文提出的海量日志采集可视化平台对传统的elk架构进行了优化,使用FileBeat替换LogStash用于采集业务数据,利用Kafka集群作为消息缓冲队列。改进后的EL... 详细信息

海量数据应用场景下,传统的elk架构因LogStash占用资源过多等问题,会出现性能瓶颈。本文提出的海量日志采集可视化平台对传统的elk架构进行了优化,使用FileBeat替换LogStash用于采集业务数据,利用Kafka集群作为消息缓冲队列。改进后的elk架构通过集群方式部署,大大降低了系统资源的占用,提高了数据传输的可靠性,适合大型集群和海量数据业务场景。

关键词：海量数据 elk 日志收集 FileBeat Kafka

在线全文

学校读者我要写书评

暂无评论

基于微服务理念校园一体化信息平台的建设

河北软件职业技术学院学报 2023年第2期25卷 7-10,19页

作者：王春波文雪巍黑龙江财经学院财经信息工程学院哈尔滨150025

校园信息化系统通常由多个子系统构成,由于各子系统建设厂商、使用技术不同,彼此之间保持独立,致使出现了信息化数据不统一、数据杂乱等问题。重构统一的信息化平台可以有效解决上述问题,但建设成本过高。笔者基于微服务理念,提出使用EL... 详细信息

校园信息化系统通常由多个子系统构成,由于各子系统建设厂商、使用技术不同,彼此之间保持独立,致使出现了信息化数据不统一、数据杂乱等问题。重构统一的信息化平台可以有效解决上述问题,但建设成本过高。笔者基于微服务理念,提出使用elk体系构建服务平台方案,打破当前各个信息化系统之间的壁垒,达到类似重构信息一体化平台的效果。方案由数据提取、数据清洗过滤和数据加工展示三部分组成,每个部分由若干可独立部署的开源或自研微服务组件构成,结合业务需求对微服务进行配置,最终完成一体化信息平台的建设。某高校实践应用表明,该方案具有见效快、建设成本低、部署灵活等特点,可以成为建设一体化信息平台的可选方案。

关键词：信息化微服务数据提取数据清洗 elk

在线全文

学校读者我要写书评

暂无评论

RCP程序的日志收集与分析实践

福建电脑 2020年第12期36卷 26-29页

作者：盛立坚厦门海迈科技股份有限公司造价产品事业部福建厦门361000

Eclipse RCP(Rich Client Platform)程序拥有良好的架构,通过插件开发能满足绝大多数富客户端程序的需求。RCP程序部署到客户机器后,需要对用户使用过程的一些日志进行在线收集、离线分析。目前,云服务已相当成熟,依托开放云提供的日志... 详细信息

Eclipse RCP(Rich Client Platform)程序拥有良好的架构,通过插件开发能满足绝大多数富客户端程序的需求。RCP程序部署到客户机器后,需要对用户使用过程的一些日志进行在线收集、离线分析。目前,云服务已相当成熟,依托开放云提供的日志服务,可满足高并发的日志收集服务,还可以通过服务将收集到的日志投递要云存储中。elk是ElasticSearch公司提供的一套开源的日志收集分析的组件,包括日志收集的LogStash、搜索引擎ElasticSearch、分析展示组件Kibana,满足一般日志分析的需要。通过日志收集和分析,可以比较及时地掌握用户使用情况及问题收集,对公司及部门决策提供依据。

关键词：富客户端程序RCP 日志收集日志分析 elk

基于Spark技术的日志分析平台设计与应用

在线全文

学校读者我要写书评

暂无评论

中国教育信息化 2021年第19期27卷 50-54页

作者：秦道祥路阳张荠月陆兵同济大学信息化办公室上海200092 同济大学电子与信息工程学院上海200092

日志分析在网络监控、故障排除、网络安全事件取证和溯源等管理中有着重要作用。文章设计了基于大数据技术的日志分析平台,把多源的日志接入到Hadoop集群,用Spark组件读取、清洗、转换,并把结果存储至elk集群,可以提供查询和可视化。建... 详细信息

日志分析在网络监控、故障排除、网络安全事件取证和溯源等管理中有着重要作用。文章设计了基于大数据技术的日志分析平台,把多源的日志接入到Hadoop集群,用Spark组件读取、清洗、转换,并把结果存储至elk集群,可以提供查询和可视化。建成的日志分析平台可以在网络安全攻防演习、选课、选房、国家重要活动等重要保障时期,提供网络监控和日志分析,发现网络安全隐患,提高网络安全风险预警的能力,从而降低学校的网络安全风险,提升校园网管理水平。

关键词：日志分析网络安全 Spark Hadoop elk

在线全文

学校读者我要写书评

暂无评论

APDEX应用性能指标在保险行业的应用

中国新通信 2016年第15期18卷 98-100页

作者：昌盛李井波中国人寿上海数据中心

"互联网+"时代,传统保险公司越来越多地在互联网上构建相关交易服务,因此对保险应用运行状态进行实时监控与分析具有重要意义。本文介绍业界主流的APDEX应用性能指标,基于开源日志解决方案elk搭建APDEX在保险行业的应用平台,为保险应用... 详细信息

"互联网+"时代,传统保险公司越来越多地在互联网上构建相关交易服务,因此对保险应用运行状态进行实时监控与分析具有重要意义。本文介绍业界主流的APDEX应用性能指标,基于开源日志解决方案elk搭建APDEX在保险行业的应用平台,为保险应用的运维和监控提供参考。

关键词： APDEX 应用性能指数 elk 保险应用

在线全文

学校读者我要写书评

暂无评论

实时日志分析系统在河南气象信息化中的应用

气象水文海洋仪器 2018年第3期35卷 65-69页

作者：王立柱朱茜河南省气象探测数据中心郑州450003

文章从河南省气象发展现状出发,结合中国气象信息化建设要求,提出了基于Elastic Search Logstash Kibana(elk)的实时日志分析系统,应用于气象大数据的运行和维护。该系统对多台服务器的日志集中化管理,可以对大量日志信息进行采集、存... 详细信息

文章从河南省气象发展现状出发,结合中国气象信息化建设要求,提出了基于Elastic Search Logstash Kibana(elk)的实时日志分析系统,应用于气象大数据的运行和维护。该系统对多台服务器的日志集中化管理,可以对大量日志信息进行采集、存储、分析和展示。通过河南省气象探测数据中心elk平台的建设,为气象大数据提供了可靠的运行和维护技术方案。

关键词： elk 实时日志分析气象信息化气象大数据

基于流计算的分布式地理信息服务监控框架设计与实现

在线全文

学校读者我要写书评

暂无评论

测绘与空间地理信息 2021年第9期44卷 98-101页

作者：刘柄宏张剑朱向晖翁宝凤徐晓新浙江省测绘科学技术研究院浙江杭州311100 龙泉市自然资源和规划局浙江龙泉323700 衢州市国土空间规划设计研究院柯城分院浙江衢州324000

服务监控、故障溯源和服务日志的统计分析,是数字城市地理信息公共服务平台和智慧城市时空信息云平台的重要能力,能够为平台的稳定运行提供可靠保障。本文分析了现有地理信息服务监控方案的局限性,引入了elk日志框架和Kafka Streams流... 详细信息

服务监控、故障溯源和服务日志的统计分析,是数字城市地理信息公共服务平台和智慧城市时空信息云平台的重要能力,能够为平台的稳定运行提供可靠保障。本文分析了现有地理信息服务监控方案的局限性,引入了elk日志框架和Kafka Streams流计算框架,并对地理信息服务特性进行优化,设计和实现了一种分布式地理信息服务监控框架。多地的应用实践表明,该框架实现了海量服务日志数据的采集、处理、存储和多维度快速检索,解决了传统集中式日志数据库写入性能差、扩展困难、查询统计效率低和商业GIS软件服务兼容性差等问题,满足了GIS平台的统一运维、统计分析和监管需要。

关键词：地理信息服务分布式日志监控流计算 elk Kafka Streams