检索结果-南通市图书馆

在线全文

学校读者我要写书评

暂无评论

基于区块链的日志数据安全存储的研究与应用

基于区块链的日志数据安全存储的研究与应用

作者：云帆北方工业大学

学位级别：硕士

随着互联网的蓬勃发展,企业的服务器每天都会生成大量的日志数据,如何保障服务器中的日志数据安全存储是亟待解决的重要问题。目前绝大多数服务器中的日志数据存储依托于中心化日志数据库或本地文件,在数据安全和存储方面存在着潜在的... 详细信息

随着互联网的蓬勃发展,企业的服务器每天都会生成大量的日志数据,如何保障服务器中的日志数据安全存储是亟待解决的重要问题。目前绝大多数服务器中的日志数据存储依托于中心化日志数据库或本地文件,在数据安全和存储方面存在着潜在的威胁。区块链作为新兴的技术,其具有的防篡改、去中心化等特点能够保证数据的安全存储。然而,将区块链技术直接应用于日志存储存在一定的缺陷。一方面,由于区块容量较小,无法满足海量日志数据的存储需求。另一方面,日志审计中,在链上以时间戳为查询关键字时检索时间过长。为了解决上述问题,本文研究并实现了一种基于区块链的日志数据安全存储系统。主要研究内容如下:(1)针对日志数据的安全存储问题进行研究,结合区块链技术和星际文件系统提出了一种新的日志数据存储架构。该架构使用加解密算法、数字签名等密码学技术保障日志数据的安全存储,同时以链上链下相结合的存储方式解决区块链日志数据的容量和吞吐量不足的问题。(2)在日志审计中以时间戳为查询关键字的条件下,针对检索时间过长的问题进行研究,提出了新的区块结构设计方案。该方案在区块头中加入了新的字段,对区块体中的Merkle树进行改进并进行了安全性分析。在保证交易数据安全的同时,提高了链上检索数据的速度和效率。(3)根据上述提出的存储架构和改进的区块结构,实现了基于区块链的日志数据存储系统。该系统保证了日志数据的安全存储,解决区块链容量小的问题,并且用户可以通过时间戳快速查询日志。仿真实验表明本文设计的区块结构与传统区块链方案相比在查询速度和效率上拥有一定的优势。综上所述,本文对日志数据存储架构和区块结构进行了研究,并实现了区块链日志存储系统和仿真实验。本文设计的系统具有高安全性、高容量、高检索效率等特点,为基于区块链的日志数据安全存储提供了新的解决方案。

关键词：日志数据区块链 Merkle树安全性分析星际文件系统

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于日志数据的云系统故障诊断研究

基于日志数据的云系统故障诊断研究

作者：杨隆源华南理工大学

学位级别：硕士

随着云技术的发展,云计算被广泛应用于企业和个人的日常运转过程中,如何保证云计算系统稳定可靠地运行是工业界和学术界重点关注的问题。日志作为系统监控数据包含丰富的系统运行时信息,近年来已有许多工作利用云系统产生的运行时日志... 详细信息

随着云技术的发展,云计算被广泛应用于企业和个人的日常运转过程中,如何保证云计算系统稳定可靠地运行是工业界和学术界重点关注的问题。日志作为系统监控数据包含丰富的系统运行时信息,近年来已有许多工作利用云系统产生的运行时日志数据进行故障检测和诊断,帮助系统管理人员发现云系统中的故障并定位故障根因。但Open Stack云系统日志的一些特性,使得现有的云系统故障诊断方法应用于Open Stack系统故障诊断场景时,存在以下挑战:一是工作流挖掘不完整的问题;二是冗余日志数据影响故障诊断模型在线处理效率的问题。针对上述挑战,本文的主要研究内容和工作如下:(1)本文提出一种基于工作流挖掘的故障诊断算法Buffer Chain。该算法从历史日志数据中挖掘任务工作流,为这些工作流赋予故障信息标签,并利用这些工作流构建工作流状态自动机模型。在工作流挖掘阶段,本文提出了一种日志标识符扩展方法,解决了工作流挖掘不完整的问题。在故障诊断阶段,状态自动机模型通过从实时日志数据中识别曾经出现过的工作流发现并定位系统故障。(2)针对冗余日志带来的挑战,本文提出一种IDF日志过滤方法。通过IDF权重值评估日志模板的重要程度,筛选出权重值低的日志模板建立日志过滤知识库。在Buffer Chain的故障诊断阶段加入日志过滤机制,通过将当前日志与过滤知识库中的日志模板进行匹配,识别冗余日志并过滤。在通过故障注入和负载生成实验收集得到的Open Stack日志数据集上的评估结果中,我们的方法实现了较高的精确度和数据处理效率,优于现有的故障诊断方法。(3)基于上述提出的故障诊断模型,设计并实现了一个基于日志数据的Open Stack云系统在线故障诊断应用。对故障诊断系统的功能进行测试,验证了该故障诊断系统能实时采集Open Stack系统产生的日志数据,并从采集到的日志数据中发现并定位Open Stack系统存在的故障,最后对故障进行恢复,证明了故障诊断系统的有效性。

关键词：云计算系统日志数据故障诊断工作流挖掘日志过滤

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于日志数据分析的异常检测系统设计与实现

基于日志数据分析的异常检测系统设计与实现

作者：王海华华中科技大学

学位级别：硕士

在结构日趋复杂的分布式系统中,系统故障处理成为了常态化问题,由于其容错机制,系统对大部分故障反应并不敏感,使得故障在发生后难以被发现,这将成为引发宕机故障的潜在因素。所以,在系统运维过程中引入异常检测技术自动化地发掘异常信... 详细信息

在结构日趋复杂的分布式系统中,系统故障处理成为了常态化问题,由于其容错机制,系统对大部分故障反应并不敏感,使得故障在发生后难以被发现,这将成为引发宕机故障的潜在因素。所以,在系统运维过程中引入异常检测技术自动化地发掘异常信息帮助系统管理人员及时发现和处理异常尤为重要。由于日志数据通常是记录分布式系统运行时信息的关键数据,它被广泛应用于异常检测任务中。但现有日志数据分析系统存在强人工依赖问题,同时在异常检测任务中多使用传统异常检测模型,这使得其在对分布式系统的海量异构日志数据进行异常检测时性能不足。为了缓解分布式系统日志数据规模与异构性对异常检测性能的影响,选取循环神经网络的变体Bi-GRU(Bi-directional Gate Recurrent Unit,Bi-GRU)作为异常检测模型,并提出使用注意力机制增强模型对日志序列中不同日志事件模板重要性的理解能力。通过在三组公开日志数据集的实验证明该模型可以有效利用日志序列上下文信息,相较于对比模型具有更好的检测精度与效率,在三组评估实验结果中F1值均高于0.94。基于该异常检测模型和日志分析相关技术,以提高日志数据分析系统的自动化程度和异常检测性能为目标,完成了系统的需求分析与整体架构设计,并对各核心功能模块进行了详细设计与实现。该系统通过监听分布式系统中不同组件的日志文件变化采集系统运行时日志数据,并在对其加工处理后进行索引存储与分析,实现日志数据异常检测、可视化分析和异常告警等功能。其中,基于ELK Stack日志管理框架实现了具备近实时采集与存储能力的日志数据采集模块;使用Flink实时计算框架和Py Torch深度学习框架实现了具备高精度实时检测能力的日志数据异常检测模块;基于B/S架构实现了具备良好交互性的系统可视化和异常告警模块。最后,通过设计完整的测试用例对异常检测系统各功能模块进行了全面的测试,测试结果表明该系统能够高效地采集分布式系统日志数据并进行准确地异常检测,根据检测结果能够正确展示异常情况并及时告警,整体满足预期设计目标。

关键词：异常检测日志分析日志数据日志序列分布式系统

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于日志数据的分布式软件系统故障诊断综述

软件学报 2020年第7期31卷 1997-2018页

作者：贾统李影吴中海北京大学信息科学技术学院北京100871 北京大学软件工程国家工程研究中心北京100871

基于日志数据的故障诊断是指通过智能化手段分析系统运行时产生的日志数据以自动化地发现系统异常、诊断系统故障.随着智能运维(artificial intelligence for IT operations,简称AIOps)的快速发展,该技术正成为学术界和工业界的研究热点... 详细信息

基于日志数据的故障诊断是指通过智能化手段分析系统运行时产生的日志数据以自动化地发现系统异常、诊断系统故障.随着智能运维(artificial intelligence for IT operations,简称AIOps)的快速发展,该技术正成为学术界和工业界的研究热点.首先总结了基于日志数据的分布式软件系统故障诊断研究框架,然后就日志处理与特征提取、基于日志数据的异常检测、基于日志数据的故障预测和基于日志数据分析的故障根因诊断等关键技术对近年来国内外相关工作进行了深入分析,最后以所提出的研究框架为指导总结相关研究工作,并对未来研究可能面临的挑战进行了展望.

关键词：日志数据异常检测故障预测故障根因诊断

在线全文

学校读者我要写书评

暂无评论

电网区块链多层次日志数据分布式存储方法

电子设计工程 2023年第23期31卷 31-34,40页

作者：蔡玺张文轩甘肃同兴智能科技发展有限责任公司甘肃兰州730000

针对电网日志数据面临恶意篡改而导致存储不完整的问题,该文提出电网区块链多层次日志数据分布式存储方法。构建基于区块链的数据分布式存储模型,利用实体私钥对数据签名分布式写入区块链。评估日志中数据地址对目的主机威胁程度,提取... 详细信息

针对电网日志数据面临恶意篡改而导致存储不完整的问题,该文提出电网区块链多层次日志数据分布式存储方法。构建基于区块链的数据分布式存储模型,利用实体私钥对数据签名分布式写入区块链。评估日志中数据地址对目的主机威胁程度,提取日志关键属性组成告警向量,构建密文索引结构。使用隐私加密保护技术计算密文存储位置,将密文存储位置传送到区块链中,结合PoW共识算法实现数据安全存储。利用密码学算法结合区块链技术校验数据存储完整性,实现电网多层次日志数据分布式存储。由实验结果可知,该方法与实际功率数据存在的最大误差为2 kW,其余均一致,说明使用该方法存储结果具有完整性。

关键词：区块链日志数据分布式存储数据加密

在线全文

学校读者我要写书评

暂无评论

基于日志数据的信息资源学科化建设研究

情报杂志 2012年第7期31卷 153-156页

作者：丁坤善中国科学技术信息研究所北京100038

针对当前信息资源学科化建设工作中的不足,提出了基于日志数据的资源学科化建设框架,利用日志数据来分析用户需求特征。对用户需求特征指标进行了探讨,包括平均请求间隔、期刊请求收录比例和期刊请求散度,目的是为不同学科信息资源遴选... 详细信息

针对当前信息资源学科化建设工作中的不足,提出了基于日志数据的资源学科化建设框架,利用日志数据来分析用户需求特征。对用户需求特征指标进行了探讨,包括平均请求间隔、期刊请求收录比例和期刊请求散度,目的是为不同学科信息资源遴选标准的建立提供参考依据。

关键词：资源建设用户需求日志数据流通分析学科馆员学科化建设

在线全文

学校读者我要写书评

暂无评论

双层聚类模型在日志数据分析中的应用

北京邮电大学学报 2015年第B6期38卷 63-66,71页

作者：古恒陈钊王枞张思悦傅群超北京邮电大学计算机学院北京100876 北京邮电大学可信分布式计算与服务教育部重点实验室北京100876 北京市政务信息安全应急处置中心北京100101 北京邮电大学软件学院北京100876

提出了一种基于自组织特征映射(SOM)神经网络和模糊c-均值(FCM)的双层聚类方法,对Web日志中的日志数据集进行聚类.第一层是无监督SOM神经网络聚类方法,它所产生的类的个数大大减少了原始数据集的个数,降低了FCM对类初始中心点的依赖;然... 详细信息

提出了一种基于自组织特征映射(SOM)神经网络和模糊c-均值(FCM)的双层聚类方法,对Web日志中的日志数据集进行聚类.第一层是无监督SOM神经网络聚类方法,它所产生的类的个数大大减少了原始数据集的个数,降低了FCM对类初始中心点的依赖;然后利用FCM聚类算法的优势对第一层中产生的类的中心点进行聚类,从而大大减少了聚类的时间复杂度;最后通过平行坐标技术可视化展示聚类前后的日志数据集,方便对日志数据进行分析.

关键词：平行坐标日志数据聚类自组织特征映射模糊c-均值

在线全文

学校读者我要写书评

暂无评论

网络日志数据中条件因果挖掘算法的优化研究

计算机工程与科学 2021年第9期43卷 1584-1590页

作者：刘云肖添昆明理工大学信息工程与自动化学院云南昆明650500

网络操作中收集了大量的系统日志数据,找出精确的系统故障成为重要的研究方向。提出一种条件因果挖掘算法(CCMA),通过从日志消息中生成一组时间序列数据,分别用傅里叶分析和线性回归分析删除大量无关的周期性时间序列后,利用因果推理算... 详细信息

网络操作中收集了大量的系统日志数据,找出精确的系统故障成为重要的研究方向。提出一种条件因果挖掘算法(CCMA),通过从日志消息中生成一组时间序列数据,分别用傅里叶分析和线性回归分析删除大量无关的周期性时间序列后,利用因果推理算法输出有向无环图,通过检测无环图的边缘分布,消除冗余关系得出最终结果。仿真结果表明,对比依赖挖掘算法(DMA)和网络信息关联与探索算法(NICE),CCMA算法在处理时间和边缘相关率2个主要性能指标方面均有改善,表明CCMA算法在日志事件挖掘中能有效优化处理速度和挖掘精度。

关键词：条件因果日志数据网络管理数据挖掘

在线全文

学校读者我要写书评

暂无评论

基于日志数据的局域底层软件运行故障定位

计算机仿真 2021年第2期38卷 352-356页

作者：曹丽娜朱方娥郭建方石家庄铁道大学四方学院河北石家庄051132

传统的软件故障定位方法定位耗时过长,且定位准确率较低。为此,研究基于日志数据设计了一种新的局域底层软件运行故障定位方法。首先基于日志数据采集局域底层软件运行信息,通过设计线程函数运算程序采集系统日志、防火墙日志以及网络... 详细信息

传统的软件故障定位方法定位耗时过长,且定位准确率较低。为此,研究基于日志数据设计了一种新的局域底层软件运行故障定位方法。首先基于日志数据采集局域底层软件运行信息,通过设计线程函数运算程序采集系统日志、防火墙日志以及网络访问日志数据。在明确日志数据之间的关联度后得到映射矩阵,然后根据检测参数确定运行周期,在相关性处理后构建故障检测模型。最后根据用户系统的日志类型,对日志数据采集程序的参数进行设置与调整,从而实现故障精准定位。实验结果表明:上述故障定位方法能够有效缩短定位时间,且其定位准确率较高,证明上述方法具有较强的实用性能。

关键词：日志数据局域底层软件故障定位线程函数数据关联度采集参数