检索结果-南通市图书馆

基于日志采集技术的安全事件系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于日志采集技术的安全事件系统的设计与实现

作者：冯超西安电子科技大学

学位级别：硕士

互联网时代社会经济快速发展,同时作为承载互联网及其应用的运营商数据中心规模也在不断拓展。高速发展的不只是信息化建设,网络中的数据规模、数据的孤岛响应、网络中设备的种类和数量、网络潜在的安全风险等同样也发生了翻天覆地的变... 详细信息

互联网时代社会经济快速发展,同时作为承载互联网及其应用的运营商数据中心规模也在不断拓展。高速发展的不只是信息化建设,网络中的数据规模、数据的孤岛响应、网络中设备的种类和数量、网络潜在的安全风险等同样也发生了翻天覆地的变化。数据中心的运维人员所维护的网络越来越大,网络中的网元节点越来越多;各种设备产生的海量日志信息给运维人员及其单位造成了很大的负担;同时安全设备各自为战、大量重复、无效的信息挤压着运维人员宝贵的时间。市场急需一款产品可以将目标网络中各种设备的日志信息进行集中的收集和整合,并且对采集到的日志进行集中范式化处理和入库存储,并通过关联分析技术对存储的数据日志进行数据挖掘,分析得出潜在的安全风险并向安全运维人员进行事件告警从而减轻运维人员的工作压力提高工作效率。本文在分析市场需求的基础上,设计并实现安全事件系统;通过功能架构设计明确系统边界和范围,安全事件系统的关键组件及核心功能包括日志采集模块、资产管理模块、关联分析模块等构成。同时经过调研国内外成熟产品及开源项目的现状,发现同类型产品将日志采集的广度和日志关联分析的深度作为产品的核心竞争力,所以本文将二者作为关键技术进行突破,在理论研究和开源项目的部署实践上,对日志采集模块和关联分析模块进行设计和实现,其中日志采集模块负责将不同位置、类型的日志信息进行采集、汇总、范式化、过滤,范式化后的日志作为可提供给关联分析的标准格式,同时借助关联分析模块算法的支撑设计关联分析计算模型,形成基于资产的统一威胁和风险管理。在日志采集模块中,提出两种采集方式来满足不同设备的采集需求,即无代理和有代理的方式,无代理即设备通过syslog等方式直接将日志发送给日志采集模块,有代理方式即在需要采集的设备上安装采集代理,采集代理与日志采集模块进行通信解决日志的采集传输问题。在关联分析模块中,将范式化后统一格式的日志数据提交给关联引擎进行计算,通过几种成熟的算法解决数据分析和挖掘的问题,满足客户风险的实时可视,发现真正隐藏在数据后的风险及时对客户进行安全预警,最后结合资产管理模块匹配资产属性对资产进行针对性的安全事件告警。综上所述,安全事件系统是建立在满足市场需求吸纳国内外产品的成熟经验基础上,结合软件工程领域理论进行的实践产物。安全事件系统简化运维人员日常设备日志监控、检索等工作操作流程,提升了运维工作效率,切实的保证数据中心的安全稳定的运行,支撑互联网时代的快速发展。

关键词：安全事件系统日志采集关联分析资产管理安全事件告警

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

可扩展的Web日志采集框架的设计与实现

计算机应用与软件 2008年第1期25卷 261-263页

作者：郝郁徐炜民上海大学计算机工程与科学学院上海200072

以某网站所需的日志分析需求为背景,设计并实现了一种Web日志分析系统的前端日志采集框架。该日志采集方案没有采用传统的写日志文件然后轮训的方式进行日志收集,而是采用客户端/服务器的模式进行"自定义"格式的日志采集。该框架同样完... 详细信息

以某网站所需的日志分析需求为背景,设计并实现了一种Web日志分析系统的前端日志采集框架。该日志采集方案没有采用传统的写日志文件然后轮训的方式进行日志收集,而是采用客户端/服务器的模式进行"自定义"格式的日志采集。该框架同样完全兼容传统的日志记录格式和记录方式。

关键词： C/S模型可扩展日志采集日志分析系统

维普期刊数据库

云环境中用户日志采集和处理算法的研究与实现

在线全文

学校读者我要写书评

暂无评论

云环境中用户日志采集和处理算法的研究与实现

作者：蔡波南京邮电大学

学位级别：硕士

随着云计算技术的不断发展,以及云平台的快捷部署,云服务已经逐步融入到人们的日常生活中,用户可以购买或者租用云服务的存储和计算资源来辅助自己的工作,不过云环境的安全问题一直阻碍着云计算的快速发展。服务商可以在硬件资源和数据... 详细信息

随着云计算技术的不断发展,以及云平台的快捷部署,云服务已经逐步融入到人们的日常生活中,用户可以购买或者租用云服务的存储和计算资源来辅助自己的工作,不过云环境的安全问题一直阻碍着云计算的快速发展。服务商可以在硬件资源和数据传输加密方面尽可能地保障云平台的安全,但是用户行为没有得到合理的监控。由于云环境的复杂性和多样性,传统的日志分析方法很难满足云环境的安全需求,因此本文针对云环境下用户行为安全问题,构建了基于Flume的日志实时和完整性采集平台,提出了基于神经网络的日志分析算法,对用户行为的安全性做出准确分析,保障云环境的安全稳定。本文的主要研究内容和创新点如下:(1)构建了基于Flume的日志采集框架,根据云环境中用户行为日志的特点设计了自定义的采集模块,针对日志采集完整性问题提出了基于分类的队列管理算法,充分利用数据传输过程中的各种监控数据,使用分类的机制实现负载均衡,让采集平台中的缓冲队列能够及时协调采集速率和传输速率。针对日志采集实时性问题,利用拦截器对采集到的日志进行实时过滤,同时使用简易的输出格式异步地进行日志采集。该采集框架能够在保证日志采集完整性的同时,尽可能地提升采集效率。(2)云环境中,传统的日志分析算法无法将日志特征和特征之间的关联性统一起来,导致一些重要的日志信息被忽略,同时实现框架不支持分布式运算,降低了分析效率。因此提出了Detm算法,该算法使用稠密的卷积层对日志数据进行充分的特征提取,提取到抽象的高维度特征之后利用记忆网络分析不同类型日志之间关联性,最终通过全连接层融合日志数据,得到输出结果。该算法不仅考虑到了不同类型日志之间的关联性,而且使用分布式运算实现,具备较高的准确率以及可扩展性。(3)设计并且实现了基于用户日志的行为分析系统,对日志采集模块和日志分析模块进行了周密的设计,并且详细阐述了每个模块的工作流程。利用该行为分析系统对云环境下用户进行实验,实验结果表明该原型系统能够对日志进行有效的采集和备份,同时对用户行为的安全性做出判断,达到及时分析的效果,保证云环境的安全。

关键词：云计算日志采集队列管理神经网络

大数据平台用户日志采集与实时监控系统的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

大数据平台用户日志采集与实时监控系统的设计与实现

作者：魏茂泉山东大学

学位级别：硕士

在移动端设备与应用飞速发展的当下,各类互联网服务大数据平台繁荣发展,大数据平台上的海量用户会产生大量的日志数据。如何对系统端与终端分散的海量用户日志数据进行采集与实时监控,实时关注日志中的各项重要指标,成为大数据平台企业... 详细信息

在移动端设备与应用飞速发展的当下,各类互联网服务大数据平台繁荣发展,大数据平台上的海量用户会产生大量的日志数据。如何对系统端与终端分散的海量用户日志数据进行采集与实时监控,实时关注日志中的各项重要指标,成为大数据平台企业所必须要解决的问题。通过对日志数据的监控,可以即时了解企业大数据平台的设备系统情况,对可能发生的故障进行检测和排查,可以优化业务流程,为平台用户提供更好的服务。目前大数据平台在用户日志处理方面面临如下几个主要的问题:(1)需要更符合企业实际业务需求,如保证高吞吐量、可靠数据传输等特性的系统,完成对日志的采集、清洗和存储工作;(2)对实时日志数据的接入管理不便,难以对日志历史数据进行简易有效管理,从而影响到上层数据查询和统计分析计算效率;(3)当前通用实时监控告警业务开发联调周期较长,需要一个系统工具来实现灵活、高效的日志数据监控任务。本文首先阐述了日志采集与实时监控系统在当前大数据环境中对于大数据平台企业的意义与相关应用,然后从大数据平台企业对用户日志数据采集和有效监控的需求出发,探究分布式的日志采集与实时监控系统架构所必需的原则特性;接着设计了系统的功能架构、技术架构和网络架构,并进行了系统所用开发工具的技术选型。最后对系统的各个模块功能进行详细阐述,结合系统的架构与详细设计实现了日志采集与实时监控系统。系统总体可分为后台日志数据采集、清洗和存储部分以及前台用户日志管理和监控部分,其中前台部分可分为作为基础的连接管理模块、进行日志数据接入和数据管理的Druid数据源配置模块、以及进行监控任务、监控脚本创建的监控任务配置模块。本文所涉及的日志为应用系统通过日志策略定义的自定义日志,后台数据处理组件可完成日志数据采集、清洗和存储的整体流程,同时开发人员可通过该系统前台Web端将日志数据从Kafka消息系统接入到实时计算引擎Druid并管理,以供后续监控任务或实时查询;对于接入的日志数据可进行日志监控任务的创建,生成监控脚本并部署到Airflow工作流平台,完成对实时日志数据的周期性查询与告警工作。本文使用线上测试环境对日志采集与实时监控系统进行测试,达到了预期的设计目标。本系统已在国内某大型互联网企业的大数据平台上线,系统较好实现了分布式环境下对用户日志数据源的管理,以及对用户日志实时监控任务的有效配置,方便的满足了企业开发人员对于用户日志数据管理与实时监控的业务需求。

关键词：大数据日志采集日志监控

基于Hadoop的运维日志采集分析平台的设计与实现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Hadoop的运维日志采集分析平台的设计与实现

作者：肖东方山东大学

学位级别：硕士

随着云计算和大数据技术的发展,政府和企业搭建了越来越多的数据中心来运行各种各样的业务系统。业务系统规模迅速增加,节点数达到几万台甚至更多,运维日志规模随之急剧增加,缺乏有效的分析框架。一直以来日志分析都是反映应用系统的运... 详细信息

随着云计算和大数据技术的发展,政府和企业搭建了越来越多的数据中心来运行各种各样的业务系统。业务系统规模迅速增加,节点数达到几万台甚至更多,运维日志规模随之急剧增加,缺乏有效的分析框架。一直以来日志分析都是反映应用系统的运行状况和用户行为的重要途径,尤其是目前互联网技术的发展,针对日志的分析处理增加了很多的创新方向。但是各业务系统硬件由多厂家提供,软件由多家厂商开发,日志格式及日志形式多种多样,缺乏统一的接入机制。报警日志大量重复,同一故障引发系统间日志重复出现,缺乏有效的日志聚类方法。而且对系统产生的运维日志数据缺乏关联分析和深度利用,运维的智能化程度低。论文工作的主要内容是,研究多源异构日志加载技术,支持多种格式、各种形态日志数据的分布式统一加载,解决包括关系型数据库数据、文本文件数据、采集脚本生成数据和用户自定义业务生成数据等多源异构数据的接入问题。研究分布式计算框架和存储技术,为上层运维分析业务提供基础分布式计算和存储能力,提供标准化接口,支持运维分析业务的持续构建。提供统一的数据存储和数据管理接口,对运维日志进行离线聚类和在线实时分类处理的能力。研究运维日志关联分析技术,对日志、系统指标进行关联分析和融合,挖掘关联规则,构建关联规则知识库。对系统运行状态和故障进行提前预测,及时发现系统故障。论文取得的主要成果是基于Hadoop搭建完成了一个分布式日志采集分析平台,该平台提供了支持运维大数据分析的基础支撑框架,支持在线和离线的分布式数据处理能力,同时提供了统一的数据访问和存储接口;设计并实现了数据加载子系统,该系统针对多源异构运维日志的采集问题,提供了行之有效的不同的数据采集方案;设计并实现了运维日志关联分析子系统,提供了特征提取、聚类、在线分类和关联分析等日志的离线和在线数据分析能力。

关键词：日志采集关联分析 Hadoop Spark Kafka

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

入侵防御系统日志采集和存储的改进方法

计算机工程与设计 2010年第17期31卷 3763-3765,3910页

作者：马强刘晓洁梁刚四川大学计算机学院四川成都610065

针对高速网络环境下现有入侵防御系统(intrusion prevention system,IPS)日志采集速度和处理速度的不匹配、日志文件规模大而难以存储的问题,提出了采用循环缓冲队列的缓存机制,同步日志采集和处理操作方法。设计了预处理算法,删除冗余... 详细信息

针对高速网络环境下现有入侵防御系统(intrusion prevention system,IPS)日志采集速度和处理速度的不匹配、日志文件规模大而难以存储的问题,提出了采用循环缓冲队列的缓存机制,同步日志采集和处理操作方法。设计了预处理算法,删除冗余的日志记录,并使用极大文件集的日志存储策略,保存海量日志文件。实验结果表明,该方法适用于千兆网络环境,能够精简日志文件规模,保存更多的日志记录。

关键词：日志采集日志存储循环缓冲队列高速网络环境入侵防御系统

维普期刊数据库

在线全文

学校读者我要写书评

暂无评论

基于日志采集的分布式网管系统设计与实现

基于日志采集的分布式网管系统设计与实现

作者：顾清上海交通大学

学位级别：硕士

随着计算机网络的飞速发展,网络信息流量不断增大,系统日志的规模也不断扩大,给系统排障以及了解系统运行状态带来了困难。如何有效利用在运行过程中产生的大量日志信息来分析系统状态和提升系统预警能力,满足日志服务在性能、健壮性、... 详细信息

随着计算机网络的飞速发展,网络信息流量不断增大,系统日志的规模也不断扩大,给系统排障以及了解系统运行状态带来了困难。如何有效利用在运行过程中产生的大量日志信息来分析系统状态和提升系统预警能力,满足日志服务在性能、健壮性、可扩展性等方面的迫切要求,是一个具有普遍意义和实用意义的研究课题。日志分析是跟踪计算机系统和网络运行的一个重要方式。仅利用日志的自动化分析功能,往往会得到错误的告警。如果用公认的标准和规则来规范日志则可最大限度的降低误报率。本文以大规模网络监控为应用背景,研究日志管理软件的问题,在此基础上设计并实现了一个基于日志的网络管理系统。本文主要工作包括: 1、首先分析了网络监视系统实现的常用技术,基于包捕获的技术和基于网关设备日志分析的技术;接着详细分析了通用的网络设备日志——syslog格式日志与WELF格式日志;指出了现有网络产品在管理需求上存在的局限性。 2、介绍了需要日志管理的原因,以及引入日志管理系统的必要性,分析了日志管理系统的功能需求。 3、在此基础上详细介绍了本文的重点,基于日志分析的分布式的网络监视系统——LDMS（Log-based Distributed Network Management System）的设计和实现。LDMS整个系统由日志采集、日志分析、报表生成引擎、报表调度、对外接口和前台Web应用程序几个模块构成。利用正则表达式进行模式匹配提取原始日志有效信息,将人工智能技术中专家系统的引入到网络管理系统,通过基于规则推理,基于事件推理等算法自动生成报警规则。 4、LDMS以J2EE架构并采用Struts框架开发,可配置性、通用性、移植性高,用户通过Web浏览器可以方便的访问系统,此外,LDMS还提供接口实现同现有的网管系统的整合。最后,本文从软件工程角度对系统的整个开发流程进行了分析和总结。本文的网管系统已在实际中试运行近半年,它提高了网管人员对故障问题定位的速度,大大降低排障时间。

关键词： syslog 日志采集日志分析正则表达式模式基于规则推理

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

日志采集归并技术在电力安全管理中的应用

电力信息化 2013年第4期11卷 46-50页

作者：黄颖祺邱玉祥胡游君王靓深圳供电局广东深圳218001 国网电力科学研究院江苏南京210003

电力二次系统安全防护工作开展以来,各级电网调度中心和变电站部署了大量的安全设备和系统,为实现安全设备运行状态检测,需采集并存储大量详实的运行数据。文章在分析电力二次系统安全管理中日志采集架构的基础上,提出了消息路径的日志... 详细信息

电力二次系统安全防护工作开展以来,各级电网调度中心和变电站部署了大量的安全设备和系统,为实现安全设备运行状态检测,需采集并存储大量详实的运行数据。文章在分析电力二次系统安全管理中日志采集架构的基础上,提出了消息路径的日志采集技术,并通过基于任务池、缓冲池的多级归并技术,提高了日志处理速度,完成海量数据的归并入库。实践证明该技术能高效地处理海量多源异构数据。

关键词：日志采集消息路径多级归并电力二次系统安全管理

维普期刊数据库

基于Elasticsearch的实时集群日志采集和分析系统实现

在线全文

学校读者我要写书评

暂无评论

数据与计算发展前沿 2016年第3期7卷 13-18页

作者：胡庆宝姜晓巍石京燕程耀东梁翠萍中国科学院高能物理研究所北京大学信息科学技术学院

传统日志工具采集时间长、处理效率低下,无法支持大规模集群日志采集和分析需求。我们从实际需求出发,结合Flume和Elasticsearch设计实现了集群日志的实时采集和快速查询分析系统。通过预设日志规则库,实时统计并展示集群系统的运行状态... 详细信息

传统日志工具采集时间长、处理效率低下,无法支持大规模集群日志采集和分析需求。我们从实际需求出发,结合Flume和Elasticsearch设计实现了集群日志的实时采集和快速查询分析系统。通过预设日志规则库,实时统计并展示集群系统的运行状态,提供预警信息。

关键词：日志采集 flume elasticsearch 日志报警