高性能的日志采集与异常分析方法研究

作     者：沈林杰 

作者单位：华东师范大学 

学位级别：硕士

导师姓名：周俊

授予年度：2023年

学科分类：08[工学] 080402[工学-测试计量技术及仪器] 0804[工学-仪器科学与技术] 

主      题：日志采集 双缓存队列 模版提取 路径异常检测 高性能 

摘      要：互联网技术和金融功能的有机结合形成了互联网金融业务模式,其核心在于利用互联网技术提高金融业务处理效率。相比其它互联网行业,互联网金融兼具互联网和金融的风险性,既蕴藏着计算机病毒、网络黑客攻击等互联网行业风险,又存在洗钱、金融诈骗等传统金融行业的风险。因此,互联网金融行业对系统的安全性、可用性、稳定性等需求都有更高的要求。而日志作为系统运行的日常记录,能够协助业务系统达到这些要求,对系统的平稳运行起到十分重要的作用。一方面,随着分布式、微服务的茁壮发展,传统的日志模式不仅检索效率低下,写入的时效性、数据的完整性也难以保证,已经难以匹配现有的服务规模。当业务快速增长的时候,这一问题就会变得尤为突出。另一方面,日志蕴藏着丰富的内容,但由于缺乏分析工具,开发人员和运维人员难以从中获取有价值的信息。机器学习和深度学习虽然被引入了日志分析领域,但主要以研究为主,在落地方面还有不少困难。比如在路径异常分析上,现有的日志分析工作往往只关注了日志键之间的关联,忽视了日志键和参数之间的关系,在分布式系统中的表现不佳。因此,本文针对分布式日志的采集与分析问题,设计了一个轻量高效的日志采集器FC-log,实现日志快速、稳定的采集与传输,提出一个基于组件和日志键的TL-MC日志异常分析模型,结合组件参数和日志键进行预测,提高日志路径异常的检测率。本文主要的贡献如下:1.设计并实现一个高性能的日志采集器FC-log。针对日志采集的完整性和实时性问题,提出一个双缓存队列解决服务异常可能导致的数据丢失问题,同时提高数据传输效率。使用本地磁盘作为降级备选方案,在系统从异常中恢复以后数据同步回Kafka集群,保证数据的完整性。使用异步发送、定制化日志等优化措施提高提高系统的可用性。2.提出一种基于组件和日志键的TL-MC日志异常分析模型。在日志解析阶段提出一个基于最长公共子序列算法优化的日志解析模型TL-parser,满足日志在线解析需求。在异常分析阶段提出一个基于长短时记忆网络的日志分析模型MC-LSTM,利用组件参数和日志键之间的关联性进行路径异常分析,解决了传统分析算法忽视特征间关联性的问题,并支持分布式系统的多线程检测需求。3.通过对比实验,证明FC-log采集器比logback具有更好的性能,对资源消耗低,集成到业务系统不会影响系统的正常运行;TL-parser日志解析模型将时间复杂度从0(mn)降低到接近于0(n),相比于Drain和Spell两种算法在保证模版提取数量的情况下提升了解析速度;将MC-LSTM日志分析模型与Deeplog和LogT两种方案进行对比,在相同精度的条件下,召回率提高了 4%,F1值提高了 1%。