检索结果-南通市图书馆

武汉理工大学学报 2021年第3期43卷 95-100页

作者：童明肖鹏陈敏武汉理工大学网络信息中心武汉430070

高校师生逐年递增,带来了大量的无线用户数据,需要从海量数据中快速精确地检索出有价值的信息进行分析。作者利用elk技术对无线AP控制器的用户日志进行实时采集和处理,重点探讨了利用Elasticsearch通过postman操作数据检索、聚合分析等... 详细信息

高校师生逐年递增,带来了大量的无线用户数据,需要从海量数据中快速精确地检索出有价值的信息进行分析。作者利用elk技术对无线AP控制器的用户日志进行实时采集和处理,重点探讨了利用Elasticsearch通过postman操作数据检索、聚合分析等技术手段对用户行为进行实时与历史分析。使用Springboot集成ES客户端进行底层操作,形成方便处理的数据格式和分析结果,为后续展示层提供依据。

关键词：日志分析 elk Elasticsearch Springboot

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

基于深度学习的DOA数据异常检测研究

基于深度学习的DOA数据异常检测研究

作者：罗云天成都理工大学

学位级别：硕士

随着大数据时代的到来,数据对于国家与社会的发展重要性日益显现。为了使数据发挥其更大价值,降低人们获取难度,苗放教授提出了面向数据的体系结构(DOA,Data-Oriented Architecture),采用的是“面向数据和以数据为核心”的思想。DOA主... 详细信息

随着大数据时代的到来,数据对于国家与社会的发展重要性日益显现。为了使数据发挥其更大价值,降低人们获取难度,苗放教授提出了面向数据的体系结构(DOA,Data-Oriented Architecture),采用的是“面向数据和以数据为核心”的思想。DOA主要分为数据注册中心(DRC,Data Register Center)、数据异常中心(DEC,Data Exception Control Center)、数据权限中心(DAC,Data Authority Center)和数据应用单元(DAUs,Data Application Units)。数据异常中心是重要模块,通过对系统与应用日志的采集检测,实现异常日志的检测和告警。本文通过研究深度自编码日志异常检测算法,提出无需人工标记的自动化日志异常检测模型,并结合企业中广泛使用的elk(Elasticsearch,Logstash,Kibana)框架为DEC搭建一套集日志采集、日志缓存、日志处理、日志存储及日志展示为一体的日志平台。本论文的主要研究内容如下:(1)研究日志解析与特征提取算法研究日志解析算法,具体包括AEL(Abstracting execution logs,抽象执行日志)、IPLo M(Iterative Partitioning Log Mining,迭代分区日志挖掘)、Mo LFI(Multi-objective Log message Format Identification,多目标日志消息格式识别),以解决非结化话的文本日志数据转换为结构化数据数据问题,实现将文本日志数据转换成日志模版与变量。研究日志特征提取算法,包括基于固定窗口的特征提取、基于滑动窗口的特征提取、基于会话窗口的特征提取,以解决将日志模版与变量数据转换成模型可训练的数字矩阵问题。(2)研究日志异常检测的自编码网络模型研究自编码网络模型,具体包括普通自编码网络模型与变分自编码网络模型。以解决常用机器学习模型对于多元日志异常检测效果不显著的问题,实现无需人工标记的自动化日志异常检测模型。(3)研究日志平台搭建技术研究日志平台搭建技术,具体包括elk日志框架、Kafka消息中间件、Flink流式处理和Flask框架。实现集日志采集、传输、处理、检测预警、存储、展示为一体的DEC日志平台。本论文的主要研究成果和创新点如下:(1)提出了一种联合自编码网络的日志异常检测模型对于日志异常检测需要标记样本的问题,本文提出了联合自编码网络的日志异常检测模型(UAE,Union autoencoder network)。自编码网络模型是一种具有代表性的深度学习模型,其在特征提取和泛化方面有着显著的优势。本文首先对原始日志进行解析,将非结构化的日志数据转换为数据矩阵。然后通过自编码网络模型的encoder层进行降维。降维后的数据使用IForest(Isolation Forest,孤立森林)模型进行检测,将IForest检测为正例的数据再由完整的自编码网络模型进行训练,达到不需要对异常日志进行标记就能训练自编码异常检测模型的目的。(2)提出了一种基于预标签的深度变分自编码异常检测模型深度变分自编码异常检测模型是通过模型的重构概率来进行异常判断。但由于其encoder层后会进行重采样,就不能使用联合自编码网络相似的方法进行对降维数据的检测。于是本文提出了基于预标签的深度变分自编码异常检测模型(PVAE,Pre-labeled depth variational autoencoder network),它首先使用CLOF(Clustering-based and LOF Outlier Detection Method,基于k均值聚类和LOF方法相结合的离群点检测方法)模型对原始数据进行预标签,并将预标签为正例的数据交由深度变分自编码异常模型训练。再使用集成学习的方法,对UAE与PVAE模型进行模型融合,将两种模型识别结果进行集成,只要其中一种模型预测为异常,则判断为异常日志。(3)搭建了一种DEC日志平台使用elk框架搭建日志采集、传输、处理、存储、展示平台。并通过Flink流式处理框架,在日志处理层使用UAE模型与PVAE模型对日志异常的检测,检测出异常的日志,会发送告警邮件给管理人员。

关键词： DOA 自编码变分自编码 elk

基于机器学习的Web日志异常流量检测技术研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于机器学习的Web日志异常流量检测技术研究

作者：吴可电子科技大学

学位级别：硕士

随着互联网的普及和飞速发展,网络安全问题也愈发重要。Web日志记录了网站的运行信息和用户的所有操作,通过日志分析开发者可以检测出网络的异常流量,及时发现漏洞。由于传统的基于规则和模式匹配的日志分析技术对海量数据的处理效果不... 详细信息

随着互联网的普及和飞速发展,网络安全问题也愈发重要。Web日志记录了网站的运行信息和用户的所有操作,通过日志分析开发者可以检测出网络的异常流量,及时发现漏洞。由于传统的基于规则和模式匹配的日志分析技术对海量数据的处理效果不佳,也无法应对形式复杂多样的网络攻击,将机器学习和深度学习技术应用到日志分析领域是大势所趋。本文提出了一种自定义特征的方法,对比于其他基于统计信息的特征提取,该方法将特征提取的重点放在URL部分,忽略对其他冗余和对检测结果提升不大的信息,有效的减少了日志数据特征提取后的维度,结果证明,该种特征提取方法检测结果良好,检测效果也略微高于其他的基于统计特征的特征提取方法,但特征维度大大减小。接下来研究了一种与距离度量相关的特征系数调节方法,将其应用并改进KNN算法,使得机器学习中异常检测的各项评估指标得到提高。主要内容如下:首先介绍了Web日志的结构和特点,介绍了误用检测和异常检测两种常用的Web日志异常流量检测方法,其中,根据使用算法效果的不同,异常检测又可细分为基于神经网络和基于其他机器学习算法的异常检测,随后对相关的算法进行了简介。然后使用了一种基于统计知识的特征提取方法从Web日志中提取特征,对比了一些其他特征提取方法,检测效果较为良好,但特征提取的维度远远低于其他方法,经过进一步的降维手段,以牺牲较小的检测结果的代价,换取了维度的进一步降低,大大节省了数据特征的存储空间,提升了后续算法的处理速度。接下来重点研究了一种特征系数调节方法,不同于传统的特征标准化,特征筛选等特征工程,特征系数调节着重研究了不同特征间的重要性的差异,并赋予不同的权值系数予以调整距离度量中的贡献度。在此基础上应用K近邻算法,随后运用粒子群优化算法继续予以改进,使得特征系数的调节具有自适应性。与改进前对比,结果证明仅仅添加3个特征系数,准确率提升了0.84%、精确率提升了1.00%,f1-score提升了1.09%。最后,建立了一个基于elk日志系统,综合前文所涉及的相关技术,进行总体的实验和仿真,并对结果进行具体分析。

关键词：日志异常流量检测自定义特征特征系数调节粒子群优化算法 elk

基于HMM的Domain-Flux恶意域名检测及分析

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

信息网络安全 2021年第12期 1-8页

作者：郭向民梁广俊夏玲玲江苏警官学院计算机信息与网络安全系南京210031 江苏省电子数据取证分析工程研究中心南京210031 江苏省公安厅数字取证重点实验室南京210031

目前,僵尸网络广泛采用域名生成算法(Domain Generation Algorithm,DGA)生成大量随机域名躲避检测,这种躲避检测的方法已经成为破坏网络安全的主要威胁。因此,研究DGA域名识别方法对于检测恶意程序、打击僵尸网络、保障信息安全具有重... 详细信息

目前,僵尸网络广泛采用域名生成算法(Domain Generation Algorithm,DGA)生成大量随机域名躲避检测,这种躲避检测的方法已经成为破坏网络安全的主要威胁。因此,研究DGA域名识别方法对于检测恶意程序、打击僵尸网络、保障信息安全具有重要的现实意义。文章设计了基于elk大数据平台的DGA域名检测分析框架,在充分研究黑名单等现有DGA域名识别方法的基础上,收集域名解析(Domain Name Server,DNS)业务系统的请求查询日志,以DGA域名为识别对象,基于隐式马尔可夫模型(Hidden Markov Model,HMM)对恶意域名进行聚类分析,从而实现对DGA域名的判定,进一步为僵尸网络等网络攻击行为的取证、溯源提供思路。实验结果表明,文章采用的轻量级检测分类器对正常域名和恶意域名的区分效果较好。

关键词：网络取证隐式马尔可夫模型恶意域名检测 elk

Inhibition of the MAPK/ERK cascade: a potential transcription-depen-dent mechanism for the amnesic effect of anesthetic propofol

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

Neuroscience Bulletin 2007年第2期23卷 119-124页

作者： Eugene E. FIBUCH John Q. WANG 密苏里-堪萨斯大学医学院圣鲁克医院麻醉科

Intravenous anesthetics are known to cause amnesia, but the underlying molecular mechanisms remain elusive. To identify a possible molecular mechanism, we recently turned our attention to a key intracellular signaling pathway organized by a family of mitogen-activated protein kinases （MAPKs）. As a prominent synapse-to-nucleus superhighway, MAPKs couple surface glutamate receptors to nuclear transcriptional events essential for the development and/or maintenance of different forms of synaptic plasticity （long-term potentiation and long-term depression） and memory formation. To define the role of MAPK-dependent transcription in the amnesic property of anesthetics, we conducted a series of studies to examine the effect of a prototype intravenous anesthetic propofol on the MAPK response to N-methyl-D-aspartate receptor （NMDAR） stimulation in hippocampal neurons. Our results suggest that propofol possesses the ability to inhibit NMDAR-mediated activation of a classic subclass of MAPKs, extracellular signal-regulated protein kinase 1/2 （ERK1/2）. Concurrent inhibition of transcriptional activity also occurs as a result of inhibited responses of ERK1/2 to NMDA. These findings provide first evidence for an inhibitory modulation of the NMDAR-MAPK pathway by an intravenous anesthetic and introduce a new avenue to elucidate a transcription-dependent mechanism processing the amnesic effect of anesthetics.

关键词： glutamate NMDA long-term potentiation elk cyclic AMP response element-binding protein c-fos proteins hippocampus propofol

长时间尺度内二分网络社团发现系统的设计与实现

维普期刊数据库

同方期刊数据库评论

在线全文

学校读者我要写书评

暂无评论

长时间尺度内二分网络社团发现系统的设计与实现

作者：梁源北京邮电大学

学位级别：硕士

日常生活中存在着很多二分网络结构,譬如用户-域名网络,云服务中相互承载的源IP-域名网络等等。二分网络中存在着社团结构,基于社团结构的网络分析比基于节点的网络分析更为高效。同时,社团结构的发现可以检测出匿名网络中潜在的威胁,... 详细信息

日常生活中存在着很多二分网络结构,譬如用户-域名网络,云服务中相互承载的源IP-域名网络等等。二分网络中存在着社团结构,基于社团结构的网络分析比基于节点的网络分析更为高效。同时,社团结构的发现可以检测出匿名网络中潜在的威胁,这对二分网络的管理以及分析意义重大。但是随着大数据时代的降临,企业每天产生的日志量呈爆炸式的增长,传统的社团发现方法并不能适用于长时间尺度内海量的日志数据,这使得对长时间尺度内二分网络内的社团发现变得愈发的困难。所以本文以大数据背景下的二分网络为研究对象,设计并实现了长时间尺度内二分网络社团发现系统,该系统通过对实时高速海量的用户上网日志进行接收以及处理,实现了高速海量日志下的聚合关系查询技术,然后基于聚合数据进行加权二分网络中的社团发现。具体工作主要包括如下:首先,系统搭建了基于elk框架中的Logstash集群,用于接收、预处理高速海量的实时用户上网日志,本系统只针对日志中最普遍的三个字段,以源IP、目的域名、时间戳将数据流进行标识。系统采用Kafka作为分布式消息队列,MongoDB作为底层数据库,采用SparkStreaming作为分布式计算引擎消费Kafka中的数据,完成了数据在内存中、入库前、出库前的多次聚合,实现了高速实时日志输入下的数据通信关系的聚合。然后系统针对于离线的用户聚合日志进行二分网络社团发现、系统采用HDFS作为底层数据存储、MapReduce作为分布式计算框架,完成了对聚合数据的单模投影、并行社团发现以及域名节点社团标定,实现了长时间尺度内二分网络中稳定社团结构的发现。最后为了实现聚合关系的快速查询,系统采用了 elk框架中的ElasticSearch对MongoDB中的数据建立索引,实现了元素聚合关系的快速查询以及社团发现结果的可视化展示。测试结果表明,系统可以对数据进行大规模聚合,使查询实际条数大幅度减少,极大的增快了数据聚合关系查询速度,实现了聚合关系数据的秒级查询。系统可以减少并发插入数据库的数据条数,增加数据传输的可靠性并提升服务质量,基于离线数据的社团发现也可以有效的挖掘出二分网络中的社团结构。

关键词： elk Kafka SparkStreaming Hadoop 二分网络社团发现

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

化工材料行业数据平台的设计与实现

化工材料行业数据平台的设计与实现

作者：山璐旻华东师范大学

学位级别：硕士

人类社会进入21世纪以来,信息技术已经渗透到人们的生活中。化工材料领域无疑是当今世界上最具挑战性和最具影响力的高科技领域之一,是很多其他行业不可或缺的基础。化工材料行业中也在不断地进行信息化建设,由于国家建设以及化工材料... 详细信息

人类社会进入21世纪以来,信息技术已经渗透到人们的生活中。化工材料领域无疑是当今世界上最具挑战性和最具影响力的高科技领域之一,是很多其他行业不可或缺的基础。化工材料行业中也在不断地进行信息化建设,由于国家建设以及化工材料行业内部建设的需要,化工材料行业中信息化系统的数量不断增多,然而随着系统增多以及行业内部需求的增多,其中的管理工作也变得愈发困难的同时引发了更多的问题产生。因此本文针对化工材料领域的应用集成,提出了一套针对化工材料领域数据应用集成框架。该框架将化工材料领域不同业务部门的数据以及应用进行集成,旨在保证松耦合、可扩展的前提下,解决数据之间的壁垒问题,将不规范的数据存储方案代替的同时将现有数据存储情况更直观的展现,在解决数据安全问题以及预防数据泄露的前提下充分发挥各个系统的现r有功能和优点,并规范新系统和应用建设的模式和标准。在本文中主要的贡献点如下:实现了基于化工材料行业的数据体系架构,在数据体系架构下,不仅设计并实现了动态模式的数据存储方案,解决了数据表格频繁变动的需求,而且建立了完善的数据质量保障体系,让管理员角色对于自己科室内部数据有更清晰的认识,同时实现了数据审批模块以及数据定密,为更细粒度的访问提供基础,也展示了更清晰的数据流向,极大地提升了数据的服务能力以及共享能力,对于数据人员数据思维的提升提供了极大帮助。提出了基于密级角色和客体域的访问控制模型并在系统中将其应用。该模型在基于角色的访问控制模型的基础上不仅引入了客体域的概念,同时基于数据防止泄露的需求引入了人员以及数据密级的概念,在不增加模型复杂度的情况下引入了更细粒度的访问控制,通过角色、客体域以及密级对于用户访问数据进行了三层过滤,保证用户访问的数据在其职能范围之内。基于elk框架实现了多系统之间的日志收集、存储和展示以及内部日志审计的功能模块,使得多系统日志格式不一、日志收集和管理困难的问题得以解决,同时解决了多系统日志数据量过大的问题。系统内部也实现了日志审计的功能模块,减少了信息泄露的可能性的同时将日志数据充分利用起来。综上所述,本文基于实际的化工材料行业内部数据以及业务需求,不仅设计实现了对于数据的综合管理并展示,而且也实现了对于用户访问控制的层层限制,也为化工材料行业中多系统日志收集以及内部日志审计提供了解决方案。

关键词：数据质量访问控制日志分析 elk 化工材料数据平台

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于大数据的交管用户异常行为审计系统设计

基于大数据的交管用户异常行为审计系统设计

作者：张云浙江工业大学

学位级别：硕士

随着云计算和大数据技术的不断发展,交管行业的数据量越来越大,同时数据集中度也越来越高,因此数据盗取、越权访问等用户异常行为不仅容易造成行业敏感信息泄露,严重侵犯公民隐私而且日益威胁着网络信息安全。为此,亟待从安全技术手段... 详细信息

随着云计算和大数据技术的不断发展,交管行业的数据量越来越大,同时数据集中度也越来越高,因此数据盗取、越权访问等用户异常行为不仅容易造成行业敏感信息泄露,严重侵犯公民隐私而且日益威胁着网络信息安全。为此,亟待从安全技术手段上加强用户异常行为安全审计,以保护平台业务和数据安全。传统安全审计技术存在以下先天不足:一方面,由于缺乏对多类对象(如用户、终端、应用系统、数据库等)审计记录的关联分析,难以进行有效的审计追踪,反向追溯到行为人。另一方面,基本采用关系型数据库储存审计数据,储存容量和处理能力都非常有限,无法处理海量的审计日志。因此针对上述情况,本文基于用户与实体行为分析(UEBA,User and Entity Behavior Analytics)理论,通过云计算和大数据平台,进行日志采集和大数据分析建模,构建了大数据平台的交管用户异常行为审计系统。论文的主要工作内容包括:1)用户异常行为审计系统的技术选型,分析Hadoop大数据平台和elk技术架构的优缺点,选择elk+Hadoop技术架构来作为大数据分析的底层平台。2)利用机器学习算法和UBA/UEBA理论,构建基于大数据平台的交管用户异常行为审计系统。3)设计系统总体架构并具体实现基于大数据平台的交管用户异常行为审计系统。目前,本文研发的用户异常行为审计系统已经成功应用于安徽交管行业,通过多种算法模型分析筛选出数十个窃取公民敏感信息的嫌疑人,有效的保护了数据安全。

关键词：安全审计 UEBA 机器学习 Hadoop elk

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

云安全产品管理平台的设计与实现

云安全产品管理平台的设计与实现

作者：孙维亮哈尔滨工业大学

学位级别：硕士

近年来互联网技术飞速发展,云计算的出现又把互联网产业推向了一个新的高峰,与此同时云安全问题也随之产生。它改变了原有SOC平台的运行模式,为安全防护提供了一种新的框架,利用云计算中的海量数据存储、分布式计算及虚拟化技术将安全... 详细信息

近年来互联网技术飞速发展,云计算的出现又把互联网产业推向了一个新的高峰,与此同时云安全问题也随之产生。它改变了原有SOC平台的运行模式,为安全防护提供了一种新的框架,利用云计算中的海量数据存储、分布式计算及虚拟化技术将安全厂商的服务器与众多用户联系起来,组成一个庞大的杀毒软件,提供病毒数据收集、检测、处理等服务。但当前各安全厂商的产品大多是针对某一方面的安全,很少有一个平台为客户提供全面的安全能力保障,因此就需要一个管理平台来对接众多安全产品,提供较为完善的安全防护机制,针对这种情况,本文设计并实现了云安全产品管理平台。论文的主要工作如下:本平台基于B/S架构,实现了对用户资产的管理,为管理员提供安全预警、事件分析、处理等服务。在实现过程中,使用数据库集群和Haproxy等插件解决大流量数据入库的问题;利用CAS实现各安全产品间的单点登录,对其进行统一的用户权限管理;通过elk搭建分布式日志管理框架实现攻击日志的集中管控;使用Dubbo进行服务间的远程方法调用,最后利用java结合Spring MVC框架实现平台业务功能。通过以上技术完成各安全产品的接入,打造提供完善防护机制的SOC平台。在测试过程中,通过Coverity支持代码规范性检查,使用Test NG框架结合jenkins实现测试的自动化。本平台已经上线,运行良好,可以为用户提供的较为完善安全保障,有效的拦截各类型的攻击,大大提高了客户资产的安全系数,具有较高的推广价值。

关键词：云安全产品 SOC平台 B/S架构 elk