检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

一种改进的ELK日志采集与分析系统

软件导刊 2019年第8期18卷 105-110页

作者：鲜征征叶嘉祥广东金融学院互联网金融与信息工程学院

ELK架构是解决日志分布式采集与分析问题中具有代表性的解决方案。但原生ELK架构存在Logstash对CPU资源占用较大、无法动态更新日志相关配置和日志数据传输过程中数据易丢失等问题。为满足现实中大型分布式服务的日志采集与分析需求,对... 详细信息

ELK架构是解决日志分布式采集与分析问题中具有代表性的解决方案。但原生ELK架构存在Logstash对CPU资源占用较大、无法动态更新日志相关配置和日志数据传输过程中数据易丢失等问题。为满足现实中大型分布式服务的日志采集与分析需求,对原生ELK架构作如下改进:在收集过程中增加限速器以减少CPU占用率;增加分布式注册中心实现相关配置动态更新;增加消息队列使得消息传输过程更健全。实验结果表明,改进后的ELK日志采集及分析系统与原生ELK相比,CPU占用率减少了近60%,日志速度提高了3倍,且消息丢失率为零。

关键词：日志采集分布式架构 ELK 消息队列

在线全文

学校读者我要写书评

暂无评论

一种日志采集统计系统的设计与实现

电脑编程技巧与维护 2017年第12期 21-23页

作者：陈健峰寇从芝河北能源职业技术学院河北唐山063000

日志采集系统是所有数据的源头,日志采集的重要性不言而喻。基于各种日志采集框架的优缺点,提出了一种基于Log4j和Zookeeper的日志采集技术,提供了方便、快捷、实用的日志采集及统计的解决方案。

关键词：日志采集 Log4j技术 Zookeeper技术

在线全文

学校读者我要写书评

暂无评论

Android客户端的日志采集系统研究

汽车电器 2023年第8期 40-42,48页

作者：谭倚靖谭智文张亮韦通明苏万德上汽通用五菱汽车股份有限公司广西新能源汽车实验室广西汽车新四化重点实验室广西柳州545007

本文研究一种Android客户端日志采集系统的整体解决方案,实现终端日志的“全量滚动缓存+动态配置上报”,保证日志信息的完整存储,并减少无用日志上报。

关键词：日志系统客户端 Android系统日志采集

维普期刊数据库博看期刊

在线全文

学校读者我要写书评

暂无评论

浅谈监测台网络设备日志采集与实践

广播电视网络 2020年第4期27卷 69-71页

作者：薛斌国家广播电视总局二九二台

本文梳理了常见的网络日志采集方法,并介绍了一种通过编程自动采集与管理网络设备日志的方法,以此降低网络安全风险与运维成本,提高网络安全监测能力。

关键词：网络安全等级保护网络设备日志采集

基于Flume、Kafka的日志采集系统分析研究

在线全文

学校读者我要写书评

暂无评论

电子技术与软件工程 2022年第10期 255-258页

作者：李柯西北工业大学陕西省西安市710000

本文对数据采集工具flume、Kafka进行简单介绍、分析研究和应用,对flume+Kafka的组合优势和原理进行阐述分析。本文通过多种flume和Kafka组件种类的组合,在日志采集系统上的应用进行了分析,并对channel组件吞吐速率和容错率之间的矛盾... 详细信息

本文对数据采集工具flume、Kafka进行简单介绍、分析研究和应用,对flume+Kafka的组合优势和原理进行阐述分析。本文通过多种flume和Kafka组件种类的组合,在日志采集系统上的应用进行了分析,并对channel组件吞吐速率和容错率之间的矛盾进行讨论研究。数据采集已成为大数据产业的重要组成部分,而日志文件逐渐成为数据分析的主要来源之一。日志文件生成速度快、来源广,使得实时日志采集系统的开发与更新变得至关重要。分布式日志采集系统正在朝着负载均衡、高容错、高可靠的方向发展。

关键词： Flume Kafka 日志采集数据采集

在线全文

学校读者我要写书评

暂无评论

自适应日志采集间隔时间动态调整算法研究

重庆科技学院学报（自然科学版） 2017年第2期19卷 92-95页

作者：刘必雄福建农林大学计算机与信息学院福州350002

针对日志审计系统,分析日志记录数量变化规律及等间隔时间日志采集策略问题,提出一种自适应日志采集间隔时间动态调整算法。该算法的功能是根据当前采集的日志记录数量,计算出单位时间内产生的日志记录数量变化,据此自动调节采集间隔时间。

关键词：日志采集等间隔时间日志采集策略间隔时间动态调整算法

在线全文

学校读者我要写书评

暂无评论

分布式电子支付日志采集监管原型设计

金融电子化 2021年第1期 77-78页

作者：周夕崇胡慧丽韩小军刘硕周君平

随着中国经济快速发展,网络信息、通信技术和支付服务不断分工细化,信息技术与金融服务共有的网络效应加强了两者之间的融合。非银行机构支付服务业务范围和规模不断扩大,新的风险隐患也相继产生,电子支付运行监管技术亟待加强。电子支... 详细信息

随着中国经济快速发展,网络信息、通信技术和支付服务不断分工细化,信息技术与金融服务共有的网络效应加强了两者之间的融合。非银行机构支付服务业务范围和规模不断扩大,新的风险隐患也相继产生,电子支付运行监管技术亟待加强。电子支付运行监管的主要目的 :一是维持金融机构及金融市场稳定,二是对金融机构业务行为监管,并且重点关注金融机构行为的本质。

关键词：密码应用支付机构电子支付数据接口中心平台前置系统日志采集原型设计分布式

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

日志数据采集和实时审计关键技术研究与实现

日志数据采集和实时审计关键技术研究与实现

作者：杨尚大浙江工商大学

学位级别：硕士

目前网络规模日益膨胀、网络应用日益频繁、网络威胁日益严重,主流的安全技术力不从心,日志审计技术作为安全审计的重要手段其研究价值倍受关注!本文重点研究了其中的日志数据采集技术和实时审计技术,并对这两模块问通信问题进行了研究... 详细信息

目前网络规模日益膨胀、网络应用日益频繁、网络威胁日益严重,主流的安全技术力不从心,日志审计技术作为安全审计的重要手段其研究价值倍受关注!本文重点研究了其中的日志数据采集技术和实时审计技术,并对这两模块问通信问题进行了研究。本文在Linux平台上使用C语言进行开发并实现了日志实时审计系统。首先对日志采集技术进行分析和比较,采取了以Syslog-ng获取日志数据的方式和以文件形式的缓存。然后对实时审计算法和数据库接口技术进行研究,提出了利用正则匹配算法实现实时审计和通过ODBC实现数据库接口。接着针对模块间通信的要求,开发一套配合SSH的辅助协议。在此过程中,本文针对实时审计提出了日志审计最优轨迹图(Best Track Map)算法,提高规则匹配速度;针对日志数据采集和实时审计模块间通信提出了辅助通信协议实现彼此身份验证,并使用SSH加密协议单独传输日志文件,在一定程度上增强了系统的高效性和安全性。最后通过一系列的测试对系统功能和性能进行验证,结果表明该系统能有效地对日志数据实现实时审计。

关键词：日志采集实时审计 BTM算法正则匹配辅助协议

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

应用于企业的高效跨系统数据汇聚方案

福建电脑 2024年第10期40卷 45-49页

作者：黄浩韦华厦门海迈科技股份有限公司福建厦门361000

为了提升大型多层级集团企业在信息化管理中的数据传输效率,建设一个高质量的数据传输系统至关重要。本文提出了一种基于ORM监听器和Kafka的跨系统高效传输方案。通过对象关系映射框架监听器无感地采集业务数据日志,使用Kafka消息队列... 详细信息

为了提升大型多层级集团企业在信息化管理中的数据传输效率,建设一个高质量的数据传输系统至关重要。本文提出了一种基于ORM监听器和Kafka的跨系统高效传输方案。通过对象关系映射框架监听器无感地采集业务数据日志,使用Kafka消息队列系统作为消息中间件,为数据高效传输提供保障。实践结果表明,采用该方案构建的系统能够有效满足企业对数据汇聚的需求,同时具备高效、准确、易扩展的特点。

关键词：数据汇聚日志采集 ORM持久化框架 Kafka消息队列系统