检索结果-南通市图书馆

基于elk的网络安全日志管理分析系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于ELK的网络安全日志管理分析系统的设计与实现

作者：曾恒北京邮电大学

学位级别：硕士

近些年,互联网的浪潮正给人们的生产生活带来巨大变化,另一方面,网络空间的安全问题也开始凸显。数以万计的设备每天产生大量的安全日志,而网络安全日志的管理分析是一种在安全领域里极为重要的防御手段。通过对网络安全日志的管理和分... 详细信息

近些年,互联网的浪潮正给人们的生产生活带来巨大变化,另一方面,网络空间的安全问题也开始凸显。数以万计的设备每天产生大量的安全日志,而网络安全日志的管理分析是一种在安全领域里极为重要的防御手段。通过对网络安全日志的管理和分析,能有效的提升工作效率,对于解决业务问题也有帮助。目前已投入使用的网络安全日志分析系统层出不穷,随着技术和业务的发展,迫切需要提升系统的处理能力。本文针对网络安全日志管理分析系统的实际问题,以日志管理分析系统为主要研究对象,结合日志系统面临的问题和日志分析算法的研究现状,设计了基于elk的网络安全日志的管理分析系统,用于对大数据量日志的管理和分析工作。增强系统的爬取数据和分析告警功能,并与大数据存储技术相结合,提升整体系统的性能。本文的研究内容主要包括以下几个方面:1、深入学习了日志系统的关键技术和日志分析算法的现状与未来的发展趋势,对文章涉及的主要技术和开源工具进行了综述。2、对基于elk的网络安全日志管理分析系统进行了总体设计。系统主要分为六大模块,分别完成日志收集功能、日志处理功能、日志检索功能、日志展示功能、日志存储功能和日志分析和告警功能。在总体功能设计基础上,对各个功能模块进行具体的需求分析和设计。3、对设计的日志系统进行了具体实现,主要基于elk技术栈,并结合Scrapy爬虫框架、Redis消息队列和HDFS存储技术,将六大模块进行了具体实现。并使用PCA和one-class SVM算法作为分析模块的主要分析算法,实现了日志分析的重要功能。4、最后对该日志系统进行功能测试和性能测试,结果表明新增的日志收集模块和日志分析与告警模块提高了整体系统的性能,并证明了该系统在处理海量日志方面具有一定的优势。

关键词： elk 网络安全日志 PCA one-class SVM 日志管理分析

基于elk的Web日志分析系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于ELK的Web日志分析系统的设计与实现

作者：罗学贯华南理工大学

学位级别：硕士

近年来互联网行业飞快地发展,网络的规模和网络用户都持续增长,为追求低成本、高性能、高可用、易伸缩和高安全的目标,现代互联网的架构设计大量采用开源软件,并采用分层、分割、分布式集群、缓存等方式,这些复杂的互联网架构和大量的... 详细信息

近年来互联网行业飞快地发展,网络的规模和网络用户都持续增长,为追求低成本、高性能、高可用、易伸缩和高安全的目标,现代互联网的架构设计大量采用开源软件,并采用分层、分割、分布式集群、缓存等方式,这些复杂的互联网架构和大量的服务器给系统的运维人员带来很大的挑战。生产系统中各类服务器实时生成的海量日志是运维人员监控和分析系统运行情况的重要信息来源,监控系统的运行状态、定位系统故障来源和解决案例问题都离不开日志管理和分析。传统的分散式日志存储手段已无法满足实时和灵活的监控要求。所以,网站运维人员需要一套能够对日志统一收集、进行高效分析并且能够把日志可视化展示和快速定位问题的准实时日志系统。本文从某互联网企业几百台生产服务器产生的Web日志为研究基础数据,结合互联网企业架构的特点和日志收集与分析的需求,设计和实现了以ElasticSearch、Logstash和Kibana的三款开源软件(简称elk)为基础的海量日志实时收集和分析系统,实现日志的采集、分析和可视化。本文的主要工作包括:(1)基于Web网站的主流架构,分析Web网站的各类日志的特点,研究日志的分析方法。无侵入性地收集各种类型的日志,并使用Logstash实现对各类日志的分析和处理,对多种不同格式的日志进行字段分析,实现灵活的日志预处理。(2)研究海量日志的实时收集、分析、存储和搜索等关键技术,使用Elasticsearch对日志进行索引和存储,实现高性能高可用易于扩展的实时日志分析系统。(3)研究基于统计模型的数据异常点检测方法,结合日志分析系统对系统异常日志定期扫描,利用配置管理数据库(CMDB)的信息,检测系统的异常日志并提供错误日志的统计信息,实现异常日志的快速定位。(4)充分利用强大的日志分析和索引功能,研究使用Kibana和Grafana实现日志信息的搜索和可视化,实现多数据源的综合面板的实时数据展示,提升企业在日志方面的处理能力和故障反应能力。

关键词：日志分析日志采集日志可视化 elk

基于elk与Spark的可扩展征信日志挖掘系统研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于ELK与Spark的可扩展征信日志挖掘系统研究与实现

作者：李存正安徽理工大学

学位级别：硕士

在数据爆炸式增长的今天,日志数据具有巨大的价值,它可以帮助系统快速定位故障,及时恢复系统运行;分析客户行为,来达到业绩快速增长等。许多中小企业和机构都不能很好的利用自己的日志数据,这些企业和机构不能很好利用这些日志数据的原... 详细信息

在数据爆炸式增长的今天,日志数据具有巨大的价值,它可以帮助系统快速定位故障,及时恢复系统运行;分析客户行为,来达到业绩快速增长等。许多中小企业和机构都不能很好的利用自己的日志数据,这些企业和机构不能很好利用这些日志数据的原因有如下几点:①中小企业机构盈利有限,单独开发复杂的日志分析管理系统成本太大,得不偿失。②使用开源的通用日志分析系统,几乎没有开发成本,但是很难精确的与公司业务相结合,使之成为鸡肋。elk架构是目前主流的日志大数据分析通用解决方案之一,elk拥有比Spark更高的实时性,集成和部署比Spark简单方便,而且几乎可以在任何系统中进行集成。但是正是由于这种的通用性,导致了它只能适用于一些简单的场景,无法像Spark一样精确针对每个应用系统进行复杂业务分析扩展。为了能同时兼顾降低前期日志收集和清洗的开发成本、分析的高实时性和可扩展性。本文将elk-Stack和Spark相结合,形成日志采集、日志处理、日志分析和结果展示四个模块来构建一套可扩展、高实时性且具有良好稳定性的征信日志挖掘系统,用来分析系统、业务、用户三个层次的日志。在前期只需利用elk Stack的收集和过滤插件简单的配置集群和定义过滤规则,就能实现日志的收集和处理,这样作比全栈Hadoop技术的大数据系统开发工作量减少60%以上;再利用Elasticsearch的高实时性,进行简单的数据实时分析,就能达到分析实时结果的要求;最后把过滤后的数据传输到HDFS中,利用Spark框架进行个性化编程,这样该系统就具有可以根据企业需求灵活进行自定义分析组件的优点。同时,引入Kafka消息队列来解决传输过程中的数据丢失问题。本文还进一步研究了多种elk与Spark对接的方法,分析了各种方法的优缺点,优化了 elk与Spark对接方式,使其在处理效率上得到了很大的提高。图22 表3 参数50

关键词： elk Spark 日志挖掘征信日志 kafka 可扩展

基于elk的Web日志采集与分析系统研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于ELK的Web日志采集与分析系统研究与实现

作者：王文文西南交通大学

学位级别：硕士

随着互联网的不断发展,网络的安全性变成了困扰互联网从业人员的重要问题。Web攻击手段在不断增多,Web攻击对于企业和个人都会造成严重影响。而Web日志安全分析是Web安全检测中的重要手段,此方法可在网络攻击发生后,还原攻击场景,继续... 详细信息

随着互联网的不断发展,网络的安全性变成了困扰互联网从业人员的重要问题。Web攻击手段在不断增多,Web攻击对于企业和个人都会造成严重影响。而Web日志安全分析是Web安全检测中的重要手段,此方法可在网络攻击发生后,还原攻击场景,继续发掘用户的非法行为,更便于事后追踪,为安全策略的制定提供有效的支持。本文研究了VGG19卷积神经网络,对其改进得到改进后的VGG19模型,提出了基于改进VGG19卷积神经网络的异常检测模型,并开发了基于elk框架的日志采集与分析系统,最后基于Virtual Box建立了具有5个结点的实验网络,完成了系统的运行测试。具体内容如下:本文首先介绍了互联网以及Web安全的发展现状,对国内外Web安全领域的现状做了相关研究。接着,对本文研究涉及的技术与理论基础进行了阐述,包括Web日志类型、Web攻击种类、elk日志框架与日志分析的常用方法。然后,详细阐述了异常检测模型的建立过程,即:(1)对VGG19算法进行了改进,并基于改进的VGG19提出了一种新的异常检测模型。基于微型迁移学习将Image Net模型中的卷积层参数迁移至本文模型,全连接层数改为1,softmax采用二分类层,提高了训练效率与准确率,使本模型更适用于网络请求检测。(2)基于ISCX2012网络安全数据集对模型进行了训练,取得了较好的效果。之后,设计了Web日志采集与分析系统,设计了系统的目标、架构、功能模块与数据库,设计的系统包括四个模块,即:日志检测模块、日志采集模块、日志存储模块与日志分析结果可视化模块。最后,利用elk框架实现了Web日志采集与分析系统。其中,日志检测模块主要通过本文提出的异常检测模型对收集到的请求进行解析并标记,日志采集、日志存储和日志分析结果可视化三个模块的实现基于Elastic Search、Logstash与Kibana三个开源工具。利用Logstash实现日志的采集;利用Elastic Search建立3结点的分布式集群,实现日志的存储;利用Kibana实现日志分析结果的可视化展示。同时,本文通过建立实验网络,在服务器端部署日志采集与分析,并通过4个结点向1个服务器结点模拟发送正常请求与异常请求,测试了本系统的异常检测。模拟测试结果表明,所开发系统达到了预期效果。

关键词： Web日志采集与分析异常检测 VGG19 elk

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于elk的安全日志分析工具设计与实现

基于ELK的安全日志分析工具设计与实现

作者：汪康睿北京邮电大学

学位级别：硕士

近年来,互联网技术飞速发展,给人们的生产生活带来巨大便利,但也面临着较大的安全问题。当前各种网络安全防御技术不断涌现,日志分析技术已经成为主动安全防御体系的重要组成部分,主要通过对操作系统、应用程序、设备和安全产品产生的... 详细信息

近年来,互联网技术飞速发展,给人们的生产生活带来巨大便利,但也面临着较大的安全问题。当前各种网络安全防御技术不断涌现,日志分析技术已经成为主动安全防御体系的重要组成部分,主要通过对操作系统、应用程序、设备和安全产品产生的日志数据进行分析和关联,进而发掘高级复杂的安全攻击事件。目前业内有很多优秀的日志分析工具,例如Loggly、Sumo Logic、Splunk等,但它们存在着功能单一、性能低、不具备可视化界面等问题,elk作为开源日志分析工具,能够高效地对日志进行采集、存储、分析和可视化展示,受到研究人员的极大关注。但是elk在日志预处理、数据倾斜规避、日志分析能力等方面还存在很大的提升空间,因此本文结合Spark在大数据处理方面的优势,同时重点研究数据倾斜导致性能影响等方面问题的解决方法,设计了一种结合elk和Spark进行日志分析的实现框架,并提出一种基于后缀键值离散重分区计算的性能优化算法的解决方案。本文主要工作如下:(1)提出了一种基于后缀键值离散重分区计算的性能优化算法。算法首先根据数据量信息构建键值频次分布图,并基于方差和平均绝对偏差的数据模型对数据倾斜率进行定义;然后对数据量不均衡键值添加随机后缀;其次基于离散重分区算法分散集中计算的任务;最后实现计算任务量分配的均匀化。通过实验验证,该方案能够有效的对任务进行均匀分区并提高日志分析工具作业执行的性能。(2)提出了一种基于混合阈值会话识别的数据预处理方法。数据预处理方法分为三步,数据清洗、用户识别和会话识别。首先对日志数据进行完备性检查;其次根据IP地址、ID和网络拓扑结构识别用户;最后基于混合阈值会话识别算法对每个集合进行会话识别,该算法基于会话时长和访问间隔阈值定义了滑动会话时长阈值,以阈值判定用户是否开始新的会话。(3)设计并开发了一套基于elk的安全日志分析工具。首先对工具整体的功能性和非功能性需求进行分析;其次对架构进行规划和设计;最后基于elk技术栈、Spark大数据处理框架和RabbitMQ消息队列,设计并实现各模块。(4)针对基于elk的安全日志分析工具相关功能进行测试验证。实验结果表明,工具能够正确的采集、分析、存储日志,并提供日志查询、展示功能。同时检测到异常日志时能够以告警信息的形式发送给系统工作人员,为其提供日志可视化视图快速定位原因。经过优化后的工具,索引延迟在10毫秒以内,CPU使用率在50%以下,执行效率增加近50%,具有一定的应用参考价值。

关键词：日志分析 elk Spark 性能提升日志预处理

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于elk的安全日志分析技术研究

基于ELK的安全日志分析技术研究

作者：吉港南京理工大学

学位级别：硕士

随着网络安全技术的快速发展,许多网络安全设备被广泛应用于防御网络攻击,其产生的安全告警日志可以有效反映系统和网络中存在的安全威胁和异常行为。然而,有价值的信息隐藏于海量多源异构的安全日志之中,为了识别安全威胁或异常行为,... 详细信息

随着网络安全技术的快速发展,许多网络安全设备被广泛应用于防御网络攻击,其产生的安全告警日志可以有效反映系统和网络中存在的安全威胁和异常行为。然而,有价值的信息隐藏于海量多源异构的安全日志之中,为了识别安全威胁或异常行为,需要对海量的安全日志进行分析。目前,大多数传统日志分析技术均是基于正则匹配规则或经验特征,难以有效检测未知的攻击手段且有较高的误报率。同时,对于异常的日志数据,难以发现深层次的攻击意图和行为,数据的相关性分析与挖掘也具有一定的局限性。针对上述问题,本文重点研究适合于多源异构安全日志数据的知识图谱构建方法以及结合知识图谱技术进行安全日志的分析,本文的主要研究内容如下:(1)研究了安全日志分析技术与知识图谱技术的相关理论与算法。通过分析网络安全设备产生的安全日志中隐藏的安全事件,揭示了安全日志分析过程中日志关联性挖掘不足,以及误报的噪声过多导致的信息过载等问题,为进一步研究安全日志知识图谱构建方法和基于知识图谱的安全日志分析方法奠定了基础。(2)提出了一种安全日志知识图谱构建方法,该方法通过采集多源异构安全日志、构建安全日志本体、关系抽取等步骤,实现安全日志知识图谱构建。首先使用elk Stack结合消息队列对多源异构的安全日志进行采集,然后结合网络安全领域相关概念构建安全日志本体。在本体作为模式层的基础上,通过结合注意力机制的深度神经网络模型进行关系抽取,最终完成安全日志知识图谱的构建。(3)提出了一种基于知识图谱的安全日志分析方法。针对安全日志数据相关性难以挖掘等问题,将基于安全日志的知识图谱RDF三元组化并语义推理得到事件关系向量,同时提取知识图谱中的行为实例,针对事件重要性加权后聚合为行为实例的向量表示。然后将行为依赖关系图解析为依赖路径,根据路径异常分数完成路径合并生成简化后的警报依赖图,实现对安全日志的关联性分析。(4)设计实现了一个基于知识图谱的安全日志分析系统。该系统能够实现日志采集、知识图谱构建和日志分析功能。其中,安全日志的采集使用基于elk结合消息队列的日志采集方法;安全日志知识图谱的构建实现了本体的开发和知识抽取;安全日志分析实现了行为抽象和依赖路径分析。测试结果表明,该系统能够有效提高日志采集的成功率和安全日志分析的准确率。

关键词：安全日志 elk 知识图谱日志分析

基于elk的日志分析与异常检测系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于ELK的日志分析与异常检测系统的设计与实现

作者：陈敬西安电子科技大学

学位级别：硕士

自进入信息化时代以来,随着网络技术的快速创新与普及,网络用户数量呈现爆炸式增长,人们对于低成本、高性能以及高安全的日志系统提出了高标准要求。很多互联网应用的架构设计都采用了分层、分布式集群和缓存等方式,这些规模庞大的互联... 详细信息

自进入信息化时代以来,随着网络技术的快速创新与普及,网络用户数量呈现爆炸式增长,人们对于低成本、高性能以及高安全的日志系统提出了高标准要求。很多互联网应用的架构设计都采用了分层、分布式集群和缓存等方式,这些规模庞大的互联网架构和部署众多的服务器使得系统的运维和异常检测变得越来越具有挑战性。许多基于挖掘方法的传统异常检测方法将不再适用,因此一个能够集日志的采集、分析和可视化于一身并且能够及时对系统产生的异常进行预警的准实时日志系统,对保证系统运行安全性、可靠性,同时减少日志维护投入具有重要的意义。本文以某商用服务器集群所产生的日志作为验证数据集,结合互联网公司对日志的收集与分析需求,设计并实现了以Elasticsearch、Logstash和Kibana三款开源软件(elk)为基础的海量日志的收集与分析系统,实现了日志的采集、异常检测和可视化。本文的工作主要包括以下几个方面:(1)对海量日志的采集、存储和索引技术进行研究,设计并实现了基于elk的准实时日志分析系统。分析各类日志的特性以及解析方法,引入Logstash实现无入侵性地收集集群的日志,使用Elasticsearch对日志进行存储与索引,可以方便地进行横向扩展以满足在各种规模上对日志进行高效分析。(2)对近些年提出的异常检测方法进行研究,设计并实现一种基于循环神经网络(RNN,Recurrent Neural Networks)的异常检测模型。该模型从已有的日志数据集中学习日志模式(log pattern);并以在线的方式增量更新模型参数,使其可以随着时间的推移来适应新的日志模式。(3)研究日志的可视化技术,设计并实现各种数据源的综合面板动态展示,提高企业的日志处理水平和故障解决能力。对于采集到的日志进行检索,按照特定的条件进行查询,并能够生成表格和图形等类型的数据。

关键词：日志分析 elk 异常检测循环神经网络

基于elk和Spark的日志分析系统的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于ELK和Spark的日志分析系统的研究与实现

作者：袁华南昌大学

学位级别：硕士

大数据时代,随着数据量爆发性的增长以及分布式存储与计算技术的快速发展,企业想利用这些海量数据来分析和提取出对企业有价值的信息的需求变得越来越迫切。实现这一目标就要求企业要找到合乎自身业务场景的日志分析解决方案。海量数据... 详细信息

大数据时代,随着数据量爆发性的增长以及分布式存储与计算技术的快速发展,企业想利用这些海量数据来分析和提取出对企业有价值的信息的需求变得越来越迫切。实现这一目标就要求企业要找到合乎自身业务场景的日志分析解决方案。海量数据处理的分布式计算系统成为这些日志分析的理想系统。谷歌在2003-2006年的三篇论文引出的Google File System、MapReduce、BigTable三个大数据处理技术奠定了大数据技术快速发展的基石,直接推动了开源大数据框架Hadoop的诞生与快速发展。在当时海量数据计算起得了卓越的效能。经过近几年的发展,目前市场上日志处理技术如Spark、elk已经得到了广泛的应用。Spark是基于内存计算的快速大数据处理框架,具有良好的容错性和扩展性。elk为开源日志处理平台解决方案,它可以快速的处理大数据,能对日志进行分布式采集及分布式存储管理,并提供全文检索、统计分析。本文的研究目标基于企业工程系统各个业务所产生的海量日志,包含工程构建日志、编译日志、中心库访问日志、静态检查等的数据,从日志的采集、存储、分析、展示等四个层面引入了以elk、Spark为核心的日志处理技术。实现了海量分布式日志的采集、预处理,并对这些日志进行了分布式存储,归一到一个存储系统,对日志按需求进行了离线日志批处理及实时的日志分析,结果数据进行可视化的展示。用户不需要关心系统是怎样实现具体的数据采集、预处理、存储、计算等一系列过程。为了高效的执行日志分析的任务,本文还通过对日志分析阶段Spark处理数据的性能进行了进一步分析研究,详细分析了影响Spark性能的因素,并结合常用的优化方式对性能进行了优化,且基于本业务情况提出了一种随机key后缀方式来优化Spark集群的性能,从而提高集群的计算效率。使得离线与实时双业务分析集中在一个系统中快速的运行。

关键词：日志分析分布式计算 Spark elk

基于Docker和Kubernetes的elk日志分析系统的研究与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

太原学院学报（自然科学版） 2021年第2期39卷 61-67页

作者：雷惊鹏唐雅文颜世波王胜安徽国防科技职业学院信息技术学院安徽六安237011 锦江酒店(中国区)信息技术中心上海110934

分析Web日志对溯源用户访问情况、监控Web服务运行状态十分重要。大数据环境下,日志处理的效率更加值得关注和研究。探讨elk架构及工作原理,并基于Docker和Kubernetes环境部署elk系统,建立相应的针对Nginx服务器日志收集、存储、处理以... 详细信息

分析Web日志对溯源用户访问情况、监控Web服务运行状态十分重要。大数据环境下,日志处理的效率更加值得关注和研究。探讨elk架构及工作原理,并基于Docker和Kubernetes环境部署elk系统,建立相应的针对Nginx服务器日志收集、存储、处理以及可视化展示平台,实现对日志的实时采集与显示。实验结果验证了该方案的可行性,在提高日志分析系统的简便性、可扩展性、实时性、可读性等方面具有一定优势,能有效改善运维效率,减轻运维压力。

关键词：日志分析容器集群 Docker elk