检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

高性能的日志采集与异常分析方法研究

高性能的日志采集与异常分析方法研究

作者：沈林杰华东师范大学

学位级别：硕士

互联网技术和金融功能的有机结合形成了互联网金融业务模式,其核心在于利用互联网技术提高金融业务处理效率。相比其它互联网行业,互联网金融兼具互联网和金融的风险性,既蕴藏着计算机病毒、网络黑客攻击等互联网行业风险,又存在洗钱、... 详细信息

互联网技术和金融功能的有机结合形成了互联网金融业务模式,其核心在于利用互联网技术提高金融业务处理效率。相比其它互联网行业,互联网金融兼具互联网和金融的风险性,既蕴藏着计算机病毒、网络黑客攻击等互联网行业风险,又存在洗钱、金融诈骗等传统金融行业的风险。因此,互联网金融行业对系统的安全性、可用性、稳定性等需求都有更高的要求。而日志作为系统运行的日常记录,能够协助业务系统达到这些要求,对系统的平稳运行起到十分重要的作用。一方面,随着分布式、微服务的茁壮发展,传统的日志模式不仅检索效率低下,写入的时效性、数据的完整性也难以保证,已经难以匹配现有的服务规模。当业务快速增长的时候,这一问题就会变得尤为突出。另一方面,日志蕴藏着丰富的内容,但由于缺乏分析工具,开发人员和运维人员难以从中获取有价值的信息。机器学习和深度学习虽然被引入了日志分析领域,但主要以研究为主,在落地方面还有不少困难。比如在路径异常分析上,现有的日志分析工作往往只关注了日志键之间的关联,忽视了日志键和参数之间的关系,在分布式系统中的表现不佳。因此,本文针对分布式日志的采集与分析问题,设计了一个轻量高效的日志采集器FC-log,实现日志快速、稳定的采集与传输,提出一个基于组件和日志键的TL-MC日志异常分析模型,结合组件参数和日志键进行预测,提高日志路径异常的检测率。本文主要的贡献如下:1.设计并实现一个高性能的日志采集器FC-log。针对日志采集的完整性和实时性问题,提出一个双缓存队列解决服务异常可能导致的数据丢失问题,同时提高数据传输效率。使用本地磁盘作为降级备选方案,在系统从异常中恢复以后数据同步回Kafka集群,保证数据的完整性。使用异步发送、定制化日志等优化措施提高提高系统的可用性。2.提出一种基于组件和日志键的TL-MC日志异常分析模型。在日志解析阶段提出一个基于最长公共子序列算法优化的日志解析模型TL-parser,满足日志在线解析需求。在异常分析阶段提出一个基于长短时记忆网络的日志分析模型MC-LSTM,利用组件参数和日志键之间的关联性进行路径异常分析,解决了传统分析算法忽视特征间关联性的问题,并支持分布式系统的多线程检测需求。3.通过对比实验,证明FC-log采集器比logback具有更好的性能,对资源消耗低,集成到业务系统不会影响系统的正常运行;TL-parser日志解析模型将时间复杂度从0(mn)降低到接近于0(n),相比于Drain和Spell两种算法在保证模版提取数量的情况下提升了解析速度;将MC-LSTM日志分析模型与Deeplog和LogT两种方案进行对比,在相同精度的条件下,召回率提高了 4%,F1值提高了 1%。

关键词：日志采集双缓存队列模版提取路径异常检测高性能

基于Elastic Stack的分布式日志采集平台设计与实现

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

网络空间安全 2022年第3期13卷 50-56页

作者：姚远郭向民江苏警官学院

[目的/意义]随着Web2.0技术的普及，各类互联网应用越来越广泛，使得网络日志数据量也呈几何式增长。如何提高服务器海量日志的采集和分析效率、及时发现安全隐患、提高运维效率，对现有日志采集和分析系统提出了新的需求。[方法/过程]... 详细信息

[目的/意义]随着Web2.0技术的普及，各类互联网应用越来越广泛，使得网络日志数据量也呈几何式增长。如何提高服务器海量日志的采集和分析效率、及时发现安全隐患、提高运维效率，对现有日志采集和分析系统提出了新的需求。[方法/过程]基于开源Elastic Stack技术，部署集群节点作为日志收集分析平台，前端采用轻量级Filebeat组件分布式收集Web日志，并由Logstash组件进行数据过滤和转发，再将采集数据逐条插入到Elasticsearch集群中，最后由Kibana组件进行可视化展示。[结果/结论]方案具备可行性，可以为数据中心运维管理提供支撑。

关键词： Elastic Stack 运维监控信息安全日志数据分析日志采集

数据中心IPv6网络日志采集平台的设计与实现

在线全文

同方期刊数据库

学校读者我要写书评

暂无评论

应用科技 2022年第3期49卷 76-83页

作者：吴宇平邢丽刃秦绪杰哈尔滨工程大学信息化处黑龙江哈尔滨150001

为在高校数据中心IPv6建设工程中,有效进行IPv6的管理与运维,本文构建了IPv6网络日志采集平台。通过对IPv6网络日志采集平台进行研究与设计,采用大数据技术进行处理与分析,构建支持IPv6网络管理运维的可视化的监控体系,实现高校数据中心... 详细信息

为在高校数据中心IPv6建设工程中,有效进行IPv6的管理与运维,本文构建了IPv6网络日志采集平台。通过对IPv6网络日志采集平台进行研究与设计,采用大数据技术进行处理与分析,构建支持IPv6网络管理运维的可视化的监控体系,实现高校数据中心IPv6管理与运维效率的提高。

关键词： IPv6 数据中心日志采集日志分析网络运维网络安全大数据可视化监控

基于Logstash的跨网络多源日志采集分析系统

在线全文

学校读者我要写书评

暂无评论

电子技术（上海） 2022年第8期51卷 92-93页

作者：尹徐珊黄建民钱灿江苏电力信息技术有限公司产品研发中心江苏210024

阐述跨网络多源日志采集分析系统的设计,该系统通过Logstash对所有日志文件进行多点分布式采集,通过Storm流式框架对日志数据进行实时处理,通过Hadoop的分布式文件系统进行日志存储分析,从而有效完成信息内外网多源分布式日志采集,具有... 详细信息

阐述跨网络多源日志采集分析系统的设计,该系统通过Logstash对所有日志文件进行多点分布式采集,通过Storm流式框架对日志数据进行实时处理,通过Hadoop的分布式文件系统进行日志存储分析,从而有效完成信息内外网多源分布式日志采集,具有良好的实时性和可扩展性。

关键词：计算机系统日志采集网络隔离多源 Logstash Storm

在线全文

学校读者我要写书评

暂无评论

Android客户端的日志采集系统研究

汽车电器 2023年第8期 40-42,48页

作者：谭倚靖谭智文张亮韦通明苏万德上汽通用五菱汽车股份有限公司广西新能源汽车实验室广西汽车新四化重点实验室广西柳州545007

本文研究一种Android客户端日志采集系统的整体解决方案,实现终端日志的“全量滚动缓存+动态配置上报”,保证日志信息的完整存储,并减少无用日志上报。

关键词：日志系统客户端 Android系统日志采集

维普期刊数据库博看期刊

基于Flume、Kafka的日志采集系统分析研究

在线全文

学校读者我要写书评

暂无评论

电子技术与软件工程 2022年第10期 255-258页

作者：李柯西北工业大学陕西省西安市710000

本文对数据采集工具flume、Kafka进行简单介绍、分析研究和应用,对flume+Kafka的组合优势和原理进行阐述分析。本文通过多种flume和Kafka组件种类的组合,在日志采集系统上的应用进行了分析,并对channel组件吞吐速率和容错率之间的矛盾... 详细信息

本文对数据采集工具flume、Kafka进行简单介绍、分析研究和应用,对flume+Kafka的组合优势和原理进行阐述分析。本文通过多种flume和Kafka组件种类的组合,在日志采集系统上的应用进行了分析,并对channel组件吞吐速率和容错率之间的矛盾进行讨论研究。数据采集已成为大数据产业的重要组成部分,而日志文件逐渐成为数据分析的主要来源之一。日志文件生成速度快、来源广,使得实时日志采集系统的开发与更新变得至关重要。分布式日志采集系统正在朝着负载均衡、高容错、高可靠的方向发展。

关键词： Flume Kafka 日志采集数据采集

在线全文

学校读者我要写书评

暂无评论

日志采集与分析在Web网站中的设计与实现

日志采集与分析在Web网站中的设计与实现

作者：张天生上海交通大学

学位级别：硕士

随着大数据的流行,越来越多的企业对大数据变得重视起来,都希望能够通过大数据来分析用户的行为,为企业的决策提供进一步的指导。在这样的前提下,Web站点采集用户数据并加以分析变得越来越流行,并且切实地帮助了企业了解用户行为,进一... 详细信息

随着大数据的流行,越来越多的企业对大数据变得重视起来,都希望能够通过大数据来分析用户的行为,为企业的决策提供进一步的指导。在这样的前提下,Web站点采集用户数据并加以分析变得越来越流行,并且切实地帮助了企业了解用户行为,进一步改善产品质量。本文主要研究Web网站的日志收集和分析,利用相关的JavaScript API对网页上用户的行为进行日志采集,然后对数据进行加工处理,最后利用分析的结果给企业提供决策支持。本文叙述了日志采集和分析的整个流程的关键技术、分析了系统的需求、设计了系统的整体架构。本文叙述了①日志采集系统的设计目标,然后围绕设计目标对API进行设计,②考虑到日志内容有可能比较大、网页会在手机等设备上面运行、网页不频繁刷新等特点,出于节省流量以及提高性能的目的,本文使用隐藏iframe来提交日志,而非利用隐藏的gif的URL刷新来提交日志,③日志发送到日志服务器后,考虑到大规模日志的情况,我们将会使用多台日志服务器并使用负载均衡,日志服务器把日志写到微软Azure存储系统,文件路径由机器名和日志时间构成,每5分钟生成一个新文件,④由后端分布式处理系统把文本日志转化成结构化日志,再用定期运行的脚本读取和处理结构化日志,生成一些常规性报表(比如每天用户数、会话数、新用户趋势等),利用SQL SERVER的Reporting Service进行报表展现,⑤把数据进行聚合再推送到数据库,利用数据库挖掘工具进行数据挖掘。在数据处理方面,考虑到数据量会很大,我们使用分布式处理系统COSMOS对数据进行处理,在大数据情况下得到了良好的性能。最后系统开发完成后通过了系统测试,并且在应用到实际生活中后系统的运行状态良好,利用日志分析的结果帮企业提供了有用的决策,证明该系统是可行并且有效的。相比于其他的系统,本文的研究内容主要有以下特点:1.企业能够得到完整的原始日志,并且基于原始日志生成多种自定义报表或者数据挖掘。2.本系统在浏览器客户端使用隐藏iframe技术,优点是一次能提交更大的数据,不用频繁提交数据,对于使用ajax来交互的站点,本系统采集数据更加节省流量。

关键词：日志采集数据分析数据挖掘

基于插件技术的日志采集Agent系统的设计与实现

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

东南大学学报（自然科学版） 2008年第A1期38卷 90-93页

作者：肖诗松陈涛华中师范大学计算机科学系武汉430079

为了从多源日志信息中灵活地采集数据,在代理技术的基础上提出采用插件技术来实现多源日志采集Agent系统.日志采集工作由多个采集代理来完成,每个代理可以完成一个或多个日志源的数据采集,同时每个日志源被当作代理上的一个插件.基于此... 详细信息

为了从多源日志信息中灵活地采集数据,在代理技术的基础上提出采用插件技术来实现多源日志采集Agent系统.日志采集工作由多个采集代理来完成,每个代理可以完成一个或多个日志源的数据采集,同时每个日志源被当作代理上的一个插件.基于此设计了日志采集Agent系统的体系结构和工作流程,并通过插件配置和正则表达式来实现各日志源的采集知识定义,从而使多源日志的采集问题得到较好地解决.与其他日志采集系统相比,该Agent系统不仅可以解决多源日志的采集工作,而且具有良好的扩展性和高效性.

关键词：日志采集插件 Agent 正则表达式

在线全文

学校读者我要写书评

暂无评论

Linux系统下改进的日志采集模块

电子科技大学学报 2007年第S3期36卷 1445-1448页

作者：李瑛莉陈兴蜀贾莹郭东军四川大学计算机学院成都610064

对传统的用户态模块ulog-acctd进行改进,提出了一种新的基于Linux的日志采集模块Aulog。Aulog模块对ulog-acctd的启动方式、参数配置、buffer设置、flush时间设置、字段裁剪五个方面进行改进,使其性能得到了很大的提高。从横向和纵向两... 详细信息

对传统的用户态模块ulog-acctd进行改进,提出了一种新的基于Linux的日志采集模块Aulog。Aulog模块对ulog-acctd的启动方式、参数配置、buffer设置、flush时间设置、字段裁剪五个方面进行改进,使其性能得到了很大的提高。从横向和纵向两个不同的角度进行的对比实验表明,Aulog的性能较ulogd和ulog-acctd分别提高1倍和10%;在相同网络环境下,Aulog的CPU消耗仅为ulogd的40%。

关键词： Aulog模块日志采集吞吐量 ulog-acctd模块