检索结果-南通市图书馆

基于自定义日志的 Fabric的共识交易轨迹可视化追踪方法

在线全文

学校读者我要写书评

暂无评论

计算机应用 2022年第11期42卷 3421-3428页

作者：李杉杉王岩泽邹英龙陈焕雷张贺吴欧南京大学软件学院南京210023 计算机软件新技术国家重点实验室(南京大学) 南京210023 中国农业银行研发中心广州511400

联盟链缺少展示各个节点资源使用情况、健康状态、互相关系、共识交易流程等方面的可视化方法,为此提出一种基于自定义日志的Fabric共识交易轨迹追踪方法(FTL)。首先,以典型联盟链框架Hyperledger Fabric为基础设施实现区块链底层构建;... 详细信息

联盟链缺少展示各个节点资源使用情况、健康状态、互相关系、共识交易流程等方面的可视化方法,为此提出一种基于自定义日志的Fabric共识交易轨迹追踪方法(FTL)。首先,以典型联盟链框架Hyperledger Fabric为基础设施实现区块链底层构建;然后,利用ELK工具链收集与解析Fabric的自定义共识交易日志,并利用Spring Boot作为业务逻辑处理框架;最后,采用专注于图分析领域的Graphin实现共识交易轨迹的可视化。实验结果表明,与原生Fabric应用相比,基于FTL的Fabric的应用框架在实现可视化追踪基础后,平均性能仅下降了8.8%,未造成显著延迟,可以为监管方提供更加智能的区块链监管方案。

关键词： Hyperledger Fabric 区块链监管共识交易追踪日志

在线全文

学校读者我要写书评

暂无评论

一种融合变量的日志异常检测方法

信息网络安全 2023年第10期 16-20页

作者：张玉臣李亮辉马辰阳周洪伟中国人民解放军信息工程大学密码工程学院郑州450001

为了充分挖掘日志中变量的潜能,优化日志异常检测效果,文章提出一种融合变量的日志异常检测方法SiEv。首先,该方法可以识别主体变量,并根据主体变量将日志划分为不同片段;然后,SiEv以这些日志片段为输入,基于长短期记忆网络(Long Short-... 详细信息

为了充分挖掘日志中变量的潜能,优化日志异常检测效果,文章提出一种融合变量的日志异常检测方法SiEv。首先,该方法可以识别主体变量,并根据主体变量将日志划分为不同片段;然后,SiEv以这些日志片段为输入,基于长短期记忆网络(Long Short-Term Memory,LSTM)训练或检测异常,从而避免不同主体的日志序列特征相互干扰;最后,根据日志片段将SiEv划分为多个类别,从不同角度检测日志。为了验证文章所提方法的有效性,SiEv对Loghub所提供的日志数据集进行测试。实验结果表明,SiEv能够发现多种类型日志中存在的异常,识别同一主体的活动行为模式和变化趋势。

关键词：日志异常检测 LSTM 变量

在线全文

学校读者我要写书评

暂无评论

基于日志的僵尸网络攻击数据分析

信息网络安全 2022年第10期22卷 82-90页

作者：朱涛夏玲玲李鹏辉徐忠毅江苏警官学院计算机信息与网络安全系南京210031 北京奇虎科技有限公司北京100020

僵尸网络是近年来有组织进行黑客攻击的一种重要手段,其独特的攻击方式使数据具有不同于其他网络攻击手段的特点。文章基于采集的网络攻击报文,对僵尸网络攻击数据进行提取分析。首先,运用蜜罐域名服务代理技术构建网络攻击日志分析系统... 详细信息

僵尸网络是近年来有组织进行黑客攻击的一种重要手段,其独特的攻击方式使数据具有不同于其他网络攻击手段的特点。文章基于采集的网络攻击报文,对僵尸网络攻击数据进行提取分析。首先,运用蜜罐域名服务代理技术构建网络攻击日志分析系统,并设计攻击日志文件的存储格式;然后,通过多种密文鉴别方法实现网络攻击明文的清洗提取,并根据僵尸网络攻击行为不同于网络扫描和黑客攻击的特点,提取僵尸网络的攻击数据,同时运用正则匹配方式发现僵尸网络攻击数据中包含5种类型的特定关键词,通过构建字符串库方式提高对僵尸网络的识别效率;最后,基于僵尸网络攻击数据选取特定聚类特征,运用两阶段聚类算法进行分析。实验结果表明,僵尸网络攻击具有端口偏向性特点,病毒下载是僵尸网络攻击展开的重要手段之一,特定端口攻击的属性数据分布明显不同于其他端口,选取的属性中除了与发送包大小相关的4个属性外,大多具有较强的聚类区分能力,可以作为进一步智能分析的重要特征。

关键词：僵尸网络日志两阶段聚类聚类特征

在线全文

学校读者我要写书评

暂无评论

面向云数据中心多语法日志通用异常检测机制

计算机研究与发展 2020年第4期57卷 778-790页

作者：张圣林李东闻孙永谦孟伟彬张宇哲张玉志刘莹裴丹南开大学软件学院天津300350 清华大学计算机科学与技术系北京100084 清华大学网络科学与网络空间研究院北京100084 北京信息科学与技术国家研究中心北京100084

得益于自然语言处理和机器学习方法的快速发展,基于日志对云数据中心软硬件系统进行自动异常检测变得越来越流行.无监督学习方法不需要标记异常日志,但通常存在准确性较低、仍需标注大量正常日志的问题.尽管有监督学习方法的准确性较高... 详细信息

得益于自然语言处理和机器学习方法的快速发展,基于日志对云数据中心软硬件系统进行自动异常检测变得越来越流行.无监督学习方法不需要标记异常日志,但通常存在准确性较低、仍需标注大量正常日志的问题.尽管有监督学习方法的准确性较高,但由于不同软硬件系统产生不同类型的、语法各异的日志,导致有监督学习方法需要为每一类型日志标注足够多的异常日志以训练相应的异常检测模型,这极大地增加了标注异常日志的人力成本.与此同时,不同类型日志在发生异常时往往具有相同或相似的语义.因此,提出了一种跨日志类型的通用异常检测机制——LogMerge.该机制通过学习多语法日志的语义相似性,可实现日志异常模式的跨日志类型迁移,从而大大减少了异常标注开销.LogMerge采用词嵌入方法先后构建单词和模板的向量,然后使用聚类方法将语义相同或相近的模板聚成一类,解决了不同类型日志语法不同带来的挑战.此外,LogMerge结合CNN与LSTM方法构建异常检测模型,既有效提取了日志序列的前后依赖性,又显著降低了日志序列中噪声带来的影响.使用公开日志数据集的实验表明,相比于当前的有监督学习方法和无监督学习方法,LogMerge取得了更高的准确性.实验还验证了LogMerge能够显著减少异常标注工作量——在目标类型日志异常标注较少时,依然能够取得较高的准确性.

关键词：日志异常检测云数据中心词嵌入 CNN LSTM

在线全文

学校读者我要写书评

暂无评论

面向非易失内存的时序数据库日志系统研究

面向非易失内存的时序数据库日志系统研究

作者：郜勇勇华中科技大学

学位级别：硕士

随着信息技术和物联网技术的发展,传感器和监控系统产生的时序数据呈现爆炸式增长,为了满足日益增长的时序数据实时处理需求,各类时序数据库不断涌现。通常情况下,为了避免数据丢失,时序数据库将数据写入内存之前,需要先将写前日志(Writ... 详细信息

随着信息技术和物联网技术的发展,传感器和监控系统产生的时序数据呈现爆炸式增长,为了满足日益增长的时序数据实时处理需求,各类时序数据库不断涌现。通常情况下,为了避免数据丢失,时序数据库将数据写入内存之前,需要先将写前日志(Write-Ahead Logging,WAL)落盘,WAL的性能直接影响了时序数据库性能。现有的研究利用非易失内存(Non-Volatile Memory,NVM)来提升日志性能,然而,这些方法存在三个主要问题:一是大多采用中心化日志结构,制约了事务的并发性能;二是需要使用大量内存屏障来保证日志写入顺序与事务执行顺序一致,制约了日志性能;三是均针对传统关系型数据库进行优化,无法直接应用于时序数据库。事实上,时序数据库事务与关系型数据库事务有很大不同,绝大多数时序数据事务为数据写入,并且大部分更新事务之间没有依赖关系,不需要严格的执行顺序。针对上述问题,结合时序数据库特点,研究了面向非易失内存的时序数据库去中心化日志系统(Decentralized Logging System in NVM,DecLog)。DecLog主要包含三个模块:一是设计了去中心化的日志结构,利用事务访问的数据来计算日志顺序(Log Sequence Number,LSN),避免访问不同数据的事务因LSN计算过程导致的串行化;二是设计了放松的日志排序策略,通过减少内存屏障来提升日志写入NVM的性能,并基于日志队列设计了流水线,使得无依赖关系事务的日志可以并发写入NVM;三是设计了基于日志线程快照的线程同步算法,减小了日志线程的同步开销。此外,为了提升NVM使用寿命,DecLog使用差值编码和异或编码对日志进行压缩,并将日志按照NVM存储单元对齐来提升日志写入NVM的性能。DecLog还利用NVM的按字节寻址能力,设计了检查点和并发故障恢复算法,提升故障恢复性能。DecLog的原型基于Beringei时序数据库实现,使用基准测试工具YCSB-TS进行测试的结果表明,与Beringei原有的日志系统相比,时序数据库的吞吐量最大提升4.6倍,故障恢复时间最大减小80.6%。

关键词：时序数据库日志事务非易失内存

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

流式半结构化日志数据实时压缩技术研究

流式半结构化日志数据实时压缩技术研究

作者：谢青华中科技大学

学位级别：硕士

随着互联网技术的发展和现代软件系统的演变,日志已经成为快速发展的大数据类型之一。日志数据的规模飞速增长,存储成本开销问题亟待解决。现有日志库(如log4j)通常采用通用压缩方法来提供日志数据压缩能力,但是它们仍有较大的提升空间... 详细信息

随着互联网技术的发展和现代软件系统的演变,日志已经成为快速发展的大数据类型之一。日志数据的规模飞速增长,存储成本开销问题亟待解决。现有日志库(如log4j)通常采用通用压缩方法来提供日志数据压缩能力,但是它们仍有较大的提升空间。为了进一步提高压缩率,节约存储空间,近年来,研究人员提出通过构建模板来实现对日志数据的编码替换,从而大大提升了压缩能力。然而,这些方法在半结构化JSON(Java Script Object Notation,一种轻量级的数据交换格式)日志数据实时压缩场景上存在压缩效果不佳、实时压缩支持能力不足等问题。为了降低存储成本并解决以上问题,提出了一种基于日志解析的流式半结构化日志数据实时压缩方案OCSL(Online Compressor for Streaming Semi-structured Log)。OCSL包含五个模块:日志解析、词频统计、模板、Token字典和Token List字典。该方案通过日志解析模块解析并分解日志数据,然后交由词频统计模块统计分析,从而将未来可能高频访问的词加入Token字典中。进而,分别通过模板和Token List字典将重复出现的模式进行编码压缩,最终交给通用压缩工具按块压缩。词频统计采用了两层LRU算法实现,以较低的代价实现较高的准确度。Token字典采用了双表“一写多读”的算法,实现了高并发低延迟的用户读写。模板和Token List字典模块采用高频模式提取的方法,从而进一步减小编码长度。采用了从腾讯CES平台五个不同业务集群上采集的真实工业数据进行实验。实验结果表明,在压缩率方面,OCSL最高压缩率可达到83.75,相较于Log Reducer和Logzip分别提升了253%和260%;在压缩速度方面,OCSL单线程压缩速度最高可以达到70MB/s,8线程压缩速度最高达到230MB/s,相比于Log Reducer和Logzip分别提升了8.8和10.27倍。

关键词：日志实时压缩 JSON 字典模板

基于Sentence-BERT的日志异常检测方法研究

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于Sentence-BERT的日志异常检测方法研究

作者：孙雪奎南京邮电大学

学位级别：硕士

日志异常检测对于计算机系统的来说至关重要,通过对系统产生的日志进行分析处理,识别系统中存在的异常或潜在问题,从而保障系统的稳定性和可靠性。目前,由于软件系统的规模的扩大和复杂度的提高,日志数据量也远远超过以往的水平,传统的... 详细信息

日志异常检测对于计算机系统的来说至关重要,通过对系统产生的日志进行分析处理,识别系统中存在的异常或潜在问题,从而保障系统的稳定性和可靠性。目前,由于软件系统的规模的扩大和复杂度的提高,日志数据量也远远超过以往的水平,传统的手工检测方法已经难以胜任。近几年的日志异常检测研究主要基于深度学习并结合数据挖掘技术实现,该类方法具有更高的准确率、可扩展性和鲁棒性。虽然现有基于深度学习的日常检测方法已经取得了相对不错的成果,但随着软件系统的迭代更新和新类型日志数量的增多,现存方法有效性逐渐降低。因此,研究出准确率高、泛化性强的日志异常检测方法显得极为重要。本文针对目前基于深度学习的日志异常检测方法存在的问题,重点研究了以下内容:(1)基于Sentence-BERT的日志异常检测方法(Log SBERT):该方法引入了Sentence-BERT模型来提取日志模板语义行为特征,建立日志模板语义字典和匹配算法,通过LSTM模型实现异常检测,Log SBERT可以有效地提升异常检测性能。在改进方法Log SBERTE中引入了自注意力机制,并且使用正反双向的Bi-LSTM模型来替代LSTM模型,该方法在提高检测准确率的同时,还能够更好地解决对于新类型日志检测的鲁棒性问题。(2)基于并列Bi-LSTM模型的日志异常检测方法(Bi SLog SBERT):考虑到现有深度学习异常检测方法中大都基于日志模板实现异常检测,没有结合日志的其他数据特征,如频度统计,位置嵌入等,导致检测方法性能表现并不理想。因此,本文提出了能同时对日志语义行为特征和TF-IDF词频统计特征进行检测的并列Bi-LSTM日志异常检测方法Bi SLog SBERT。该方法能够显著地提升日志异常检测方法的有效性。(3)基于Log SBERT日志异常检测方法原型系统的实现:利用Py Charm集成开发环境和基于Python的图形界面框架Py Simple GUI实现Log SBERT日志异常检测方法原型系统,通过需求分析完成系统设计,该原型系统包括五个模块:数据处理、模型训练、异常检测、增量更新和检测界面。

关键词：日志深度学习 Sentence-BERT 异常检测

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

日志

中国远程教育 2011年第24期 88-89页

评价一个E—Learning课件，人们容易习惯性地将它与面授课堂作比较，甚至在很多时候有这样一种潜在的认识：面授课堂是原始版，而电子课件是降级版。确实，比起讲师一节课就是几十万的收入，电子课件的确算得上是廉价品。但这却是我深... 详细信息

评价一个E—Learning课件，人们容易习惯性地将它与面授课堂作比较，甚至在很多时候有这样一种潜在的认识：面授课堂是原始版，而电子课件是降级版。确实，比起讲师一节课就是几十万的收入，电子课件的确算得上是廉价品。但这却是我深恶痛绝的一个观点。在我眼里，二者都是培训、学习的途径，各有所长，本质上没有优劣之分，就学习质量而言，电子课件也是绝对不打折扣的。

关键词：电子课件日志学习质量习惯性课堂面授

维普期刊数据库评论

在线全文

维普期刊数据库

学校读者我要写书评

暂无评论

一种基于RNN的系统日志异常检测方法

一种基于RNN的系统日志异常检测方法

作者：万洪杰南京邮电大学

学位级别：硕士

近年来,随着网络支付、电子商务和即时通讯等应用软件的兴起,大规模分布式系统也得到了广泛的应用,同时也正在成为IT行业的核心组成部分,与传统的单机服务器相比,大规模分布式系统需要全天候保障其正常运行,为海量用户提供可靠服务。此... 详细信息

近年来,随着网络支付、电子商务和即时通讯等应用软件的兴起,大规模分布式系统也得到了广泛的应用,同时也正在成为IT行业的核心组成部分,与传统的单机服务器相比,大规模分布式系统需要全天候保障其正常运行,为海量用户提供可靠服务。此类系统的任何重大宕机情况都可能导致不可计数的收入损失,因此需要构建异常检测框架来确保系统的可靠性。在提供系统可靠性方面,系统日志可以很好地胜任该任务,因此基于系统日志的异常安全检测方法应运而生。日志在系统管理中被广泛应用于可靠性保证,是检测系统是否异常的重要数据源。在系统日志异常检测流程之前需要将原始的文本结构日志解析成异常检测模型能够识别的结构化日志,为了完成日志解析这一前置任务,人们提出了很多根据日志特性设计的日志解析算法,从而达到提取结构化日志的目的。针对已有的日志解析算法的不足之处作出改良,以解析效率作为突破点提出了基于分布式的系统日志解析任务分配模型和基于启发式的系统日志解析算法,通过组合分配模型和解析算法完成日志解析任务。利用HDFS和BGL等五种数据集实验验证了模型和算法的可行性和有效性,缩短了日志解析所需花费的时间,提高了日志解析的效率在系统日志异常检测模块提出了基于RNN的系统日志异常检测模型,通过从日志中提取日志事件快速构建检测模型并使用日志编辑距离损失函数调整模型。通过该异常检测模型来检测序列是否异常,并通过与一系列基于SVM、LSTM和Autoencoder的系统日志异常检测方法对比,证明了本文基于ED-GRU的系统日志异常检测模型的有效性和可行性。

关键词：日志分布式系统任务分配解析算法循环神经网络异常检测