检索结果-南通市图书馆

基于调用链控制流分析的大型微服务系统性能建模与异常定位

在线全文

学校读者我要写书评

暂无评论

软件学报 2022年第5期33卷 1849-1864页

作者：于庆洋白晓颖李明杰李奇原刘涛刘泽胤裴丹清华大学计算机科学与技术系北京100084 北京信息科学与技术国家研究中心北京100084 北京大数据先进技术研究院北京100083 百度商业平台研发部北京100193

大型微服务系统中组件众多、依赖关系复杂,由于故障传播的涟漪效应,一个故障可能引起大规模服务异常,快速识别异常并定位根因是服务质量保证的关键.目前主要采用的调用链分析方法,常常面临调用链结构复杂、实例数量庞大、存在大量小样... 详细信息

大型微服务系统中组件众多、依赖关系复杂,由于故障传播的涟漪效应,一个故障可能引起大规模服务异常,快速识别异常并定位根因是服务质量保证的关键.目前主要采用的调用链分析方法,常常面临调用链结构复杂、实例数量庞大、存在大量小样本等问题,因此提出基于调用链控制流分析,将大量调用链结构聚合为少量方法调用模型;并提出基于方法调用模型的执行时间分解模型及预测方法,将实际值与预测值的相对误差超过设定阈值的待检测数据判定为异常.采用百度凤巢广告业务系统某天超过17亿条调用链日志记录开展实验分析,结果表明:与数据驱动的调用序列分析方法相比,提出的基于模型的方法可以大幅缩减调用链结构数量,并有效分析和检测微服务性能异常及其根因.

关键词：微服务系统性能异常检测根因分析调用链控制流分析

在线全文

学校读者我要写书评

暂无评论

一种在线实时微服务调用链异常检测方法

计算机工程 2022年第11期48卷 161-169页

作者：张攀高丰周逸饶涵宇毛冬李静国家电网有限公司信息通信分公司北京100031 南京航空航天大学计算机科学与技术学院南京211106 国网浙江省电力有限公司信息通信分公司杭州310016

微服务架构逐渐成为大规模云应用的主流设计架构,微服务可靠性是云服务商亟须处理的关键问题。精确检测并定位微服务应用故障可有效保障应用的可靠性与稳定性,基于微服务调用链的异常检测可在系统发生故障时及时发现系统异常行为并触发... 详细信息

微服务架构逐渐成为大规模云应用的主流设计架构,微服务可靠性是云服务商亟须处理的关键问题。精确检测并定位微服务应用故障可有效保障应用的可靠性与稳定性,基于微服务调用链的异常检测可在系统发生故障时及时发现系统异常行为并触发告警。针对当前主流检测方法无法保证异常告警的实时性和准确性问题,提出一种基于自然语言处理与双向长短期记忆(BiLSTM)网络的微服务调用链异常检测方法 MicroTrace。对调用链中记录的事件进行解析,将事件表示为语义序列与响应时间序列,利用词汇嵌入式表示算法提取事件的向量化表示,通过基于注意力机制的BiLSTM同时检测微服务实例的调用路径与性能异常。在真实微服务调用链数据集上的实验结果表明,该方法的查准率和查全率均可达96%以上,F1度量值相比于多模态-LSTM方法至少提升了6.8%。

关键词：微服务调用链深度学习异常检测数据挖掘

面向微服务环境的调用链管理系统的设计与实现

在线全文

学校读者我要写书评

暂无评论

面向微服务环境的调用链管理系统的设计与实现

作者：韦苗苗北京邮电大学

学位级别：硕士

近年来,基于微服务架构的业务系统的出现和广泛应用,在给业务系统构建带来极大便利的同时,也给业务系统运维带来了极大挑战。调用链管理系统主要用于管理实现业务系统各项功能的微服务的调用链,是开展基于微服务架构的业务系统运维的重... 详细信息

近年来,基于微服务架构的业务系统的出现和广泛应用,在给业务系统构建带来极大便利的同时,也给业务系统运维带来了极大挑战。调用链管理系统主要用于管理实现业务系统各项功能的微服务的调用链,是开展基于微服务架构的业务系统运维的重要支撑工具。与此同时,基于日志的无侵入的调用链生成和基于调用链的异常检测成为研究热点之一。本文设计并实现了一个面向微服务环境的调用链管理系统。该系统基于对可观测数据的采集和存储,实现调用链生成和基于调用链的异常检测等功能,设计了异构数据的采集和存储方案,为调用链生成和异常检测提供数据支持;提供了基于调用链的异常检测功能,以提升运维效率。同时,本文提出了一种时间感知的调用链生成方法和调用链与指标融合的异常检测方法(Time-aware call chain generation method and anomaly detection method based on call chain and metrics fusion,TCCG-CMAD)。该方法首先提出了基于日志的调用链生成方法,实现无侵入的调用链生成;其次基于调用链与指标数据的融合分析,实现系统异常检测,使用图模型来统一表示和学习复杂微服务系统,最终设计了多类型异常的检测方法。一系列实验说明本方法相比DeepTraLog、DeepLog等基线方法,其召回率和F1分数均得以提升。本文首先介绍了面向微服务环境的调用链管理系统的研究背景;其次结合对现有监控平台和异常检测系统的调研分析提出面向微服务环境的调用链管理系统需求;之后提出了时间感知的调用链生成方法和调用链与指标融合的异常检测方法;然后详细介绍了面向微服务环境的调用链管理系统的设计与实现;最后通过一系列测试验证了系统的有效性。

关键词：微服务调用链异常检测图神经网络数据融合

基于图网络的Java反序列化漏洞调用链检测方法研究

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

基于图网络的Java反序列化漏洞调用链检测方法研究

作者：胡飞西北大学

学位级别：硕士

互联网迅猛发展,促使医疗、金融、娱乐、购物等不同领域逐渐互联网化,软件在人们生活中随处可见。软件漏洞屡见不鲜,已经严重危害到国家和社会的经济,影响人们的正常生活。在众多漏洞类型中,Java反序列化漏洞自2015年,呈持续上涨的趋势... 详细信息

互联网迅猛发展,促使医疗、金融、娱乐、购物等不同领域逐渐互联网化,软件在人们生活中随处可见。软件漏洞屡见不鲜,已经严重危害到国家和社会的经济,影响人们的正常生活。在众多漏洞类型中,Java反序列化漏洞自2015年,呈持续上涨的趋势,由于其很容易被非法利用,因此成为目前最具威胁的软件漏洞之一。在反序列化漏洞被发现之前,对软件所使用的第三方公共组件库进行检测,能够提前发现并防御潜在的反序列化漏洞。目前已有的反序列化漏洞调用链检测,主要有基于规则匹配和基于污点分析两种检测方法,前者采用白名单或者黑名单的方法无法发现未知的反序列化漏洞,而后者因其对漏洞调用链检测能力有限,故漏报和误报率高。为了解决已有检测方法存在的局限性,提升反序列化漏洞调用链检测的准确率,降低误报率,本文提出了一种基于图网络的Java反序列化漏洞调用链检测方法Serial Finder,该方法借助图结构充分表达反序列化漏洞调用链的语义信息,训练图同构网络模型,检测潜在的反序列化漏洞调用链。本文的贡献主要有以下几点:（1）为了解决Java反序列化漏洞调用链检测模型训练所需的样本数据严重缺乏的问题,本文设计一种基于多关系边的调用链子图提取方法,收集到大量的调用链子图作为模型的训练数据集,为Java反序列化漏洞调用链检测模型的训练提供支撑。（2）为了降低反序列化漏洞调用链检测的误报率,提出了一种基于图神经网络的Java反序列化漏洞调用链检测方法Serial Finder,通过扩展图神经网络的结构,为调用链子图增添六种调用边关系,实现了基于多关系边图神经网络的反序列化漏洞调用链检测方案,提高了反序列化漏洞调用链检测的准确率。（3）以Serial Finder方法为基础,设计并实现了一个自动化的Java反序列化漏洞调用链检测原型系统,在多个第三方公共组件库上进行时间性能和命中率实验,并与最近的Java反序列化漏洞调用链检测方法Gadget Inspector进行对比。实验结果表明,Serial Finder在多个公共组件库上的平均命中率为39%,比Gadget Inspector高24%。

关键词：漏洞检测图数据库 Java反序列化图神经网络调用链

基于微服务调用链双向搜索的故障根因定位方法

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

通信技术 2022年第11期55卷 1515-1522页

作者：邹丹丹丁建兵王希栋叶晓舟欧阳晔亚信科技(中国)有限公司通信人工智能创新实验室北京100193

微服务系统具有分布式系统固有的复杂性和服务依赖性,当出现软硬件故障时,会造成雪崩效应。针对如何基于调用链定位根因来保障服务的安全性的问题,提出了一种基于调用链双向搜索的故障根因定位算法,通过结合自顶向下的故障信息统计和自... 详细信息

微服务系统具有分布式系统固有的复杂性和服务依赖性,当出现软硬件故障时,会造成雪崩效应。针对如何基于调用链定位根因来保障服务的安全性的问题,提出了一种基于调用链双向搜索的故障根因定位算法,通过结合自顶向下的故障信息统计和自底向上的分层级根因定位,准确输出Top K根因节点。基于所提算法的方案已在某省级运营商实际上线,其Top 3根因的准确率达到87%,平均定位耗时为15 s,有效提升了微服务系统运维工作的效率和准确率。

关键词：根因定位微服务调用链异常检测

在线全文

学校读者我要写书评

暂无评论

基于调用链追踪的无服务器应用异常检测方法

信息技术与信息化 2022年第5期 20-24页

作者：徐飞宇四川大学网络空间安全学院四川成都610207

在无服务器计算环境中,应用通过函数即服务的方式进行组织,运行在容器等轻量级隔离环境中的函数通过互相调用对用户提供服务。由于这些函数运行在不同的隔离环境,甚至是不同的计算工作节点中,传统的异常检测技术难以直接应用到无服务器... 详细信息

在无服务器计算环境中,应用通过函数即服务的方式进行组织,运行在容器等轻量级隔离环境中的函数通过互相调用对用户提供服务。由于这些函数运行在不同的隔离环境,甚至是不同的计算工作节点中,传统的异常检测技术难以直接应用到无服务器计算环境中。通过对分布式追踪技术和异常检测技术的研究,提出了一种基于调用链追踪的无服务器应用异常检测方法,利用Jaeger分布式追踪技术对无服务器应用的每次请求进行追踪,并利用存储下来的追踪数据来构造函数之间的调用链,结合深度贝叶斯和单分类支持向量机两种机器学习算法以无监督的方式训练预测模型,对无服务器应用运行过程中的异常行为进行检测。经过实验验证,该检测方法在无服务器计算环境下具有有效性,并且在拥有较高准确率的同时误报率较低。

关键词：无服务器异常检测调用链分布式追踪深度贝叶斯

基于字节码搜索的Java反序列化漏洞调用链挖掘方法

在线全文

学校读者我要写书评

暂无评论

信息网络安全 2020年第7期 19-29页

作者：杜笑宇叶何文伟平北京大学软件与微电子学院北京100080

反序列化漏洞是近年来应用安全研究的热点之一。随着Java类库的功能不断更新和扩展,反序列化漏洞的潜在范围更加广泛。手工进行反序列化漏洞挖掘需要大量的时间和人力对调用链进行筛查和构造。文章介绍了Java反序列化漏洞的原理、常见... 详细信息

反序列化漏洞是近年来应用安全研究的热点之一。随着Java类库的功能不断更新和扩展,反序列化漏洞的潜在范围更加广泛。手工进行反序列化漏洞挖掘需要大量的时间和人力对调用链进行筛查和构造。文章介绍了Java反序列化漏洞的原理、常见场景和反序列化漏洞调用链的构造方法,并结合常见的漏洞挖掘方法,提出一种调用链挖掘方法,同时将该方法实现为调用链挖掘工具Zero Gadget。文章方法采用污点分析与符号执行技术生成从反序列化漏洞入口点到危险函数的调用树,利用深度优先搜索算法搜索调用树并生成相关调用链。文章选取常见的Java基础库进行调用链挖掘效果的测试。实验结果表明,文章方法可成功挖掘潜在调用链并具有较高的准确率,对于反序列化漏洞调用链的自动化挖掘有着积极的意义。

关键词：反序列化漏洞调用链 Java漏洞挖掘

基于Zipkin协议的调用链监控系统设计与实现

在线全文

学校读者我要写书评

暂无评论

基于Zipkin协议的调用链监控系统设计与实现

作者：沈攀华中科技大学

学位级别：硕士

随着互联网的规模日益扩大,用户数量快速上升,传统的单体架构已难以满足业务需求,为了应对快速增长的用户数量和业务需求,架构风格开始演进,微服务架构逐渐开始普及。单体应用被拆分为多个子业务模块,分别由不同的团队研发维护,每个模... 详细信息

随着互联网的规模日益扩大,用户数量快速上升,传统的单体架构已难以满足业务需求,为了应对快速增长的用户数量和业务需求,架构风格开始演进,微服务架构逐渐开始普及。单体应用被拆分为多个子业务模块,分别由不同的团队研发维护,每个模块采用大规模集群方式部署,由于业务环境隔离,业务依赖关系复杂,业务日志分散,导致实时掌握业务服务运行状况是十分复杂的。通常当线上业务出现问题时,及时发现问题并恢复正常才能把损失降到最低。因此,研究一款用于监控服务调用状况的监控系统是很有必要的。调用链监控系统的研究主要包含数据收集、数据处理、数据存储、数据查询和数据展示五个方面:数据收集是对业务服务日志数据和远程调用数据进行收集并上报,其中日志数据采集采用了开源的数据文件采集工具Filebeat来实现,远程调用数据采集则是利用基于开源组件改造的、需要嵌入到业务服务容器的客户端工具来实现;数据处理是对上报的日志数据和业务服务调用数据按照相应的规则进行过滤、重组、格式化处理,其中调用数据处理采用开源调用链分析工具Zipkin来实现,日志数据处理采用开源的实时数据处理引擎Logstash来实现;数据存储是对处理后的格式化数据进行持久化存储,用于统计、查询服务使用,本系统中日志数据和调用链数据均采用业界普遍使用的Elasticsearch数据库来存储,具有高效、实时的全文检索能力;数据查询主要是业务后台开发出调用链和日志数据查询接口,供前端请求访问,业务接口主要采用开源框架Springboot来实现;数据展示主要是将监控数据可视化,即前端用户界面的开发,主要采用B/S架构体系,通过在Web界面上进行前端页面的渲染,实现用户的访问操作。系统实现遵守标准的软件开发流程,完成了整个系统的设计开发工作。通过近半年的实际运行表现,表明该系统的确极大地提升了开发人员和维护人员的工作效率,完成了系统的预期目标。

关键词：调用链日志运维监控 B/S架构

同方学位论文库评论

在线全文

同方学位论文库

学校读者我要写书评

暂无评论

一种基于深度学习的微服务性能异常检测方法

计算机研究与发展 2024年第3期61卷 600-613页

作者：方浩天李春花王清周可武汉光电国家研究中心(华中科技大学) 武汉430074

微服务架构因具有良好的可扩展性和可维护性越来越受到云应用软件的青睐.与此同时,微服务之间复杂的交互使得系统的性能异常检测变得更加困难.现有的微服务性能异常检测方法均不能很好地建立跨不同调用路径的微服务及其对应的响应时间... 详细信息

微服务架构因具有良好的可扩展性和可维护性越来越受到云应用软件的青睐.与此同时,微服务之间复杂的交互使得系统的性能异常检测变得更加困难.现有的微服务性能异常检测方法均不能很好地建立跨不同调用路径的微服务及其对应的响应时间之间的复杂关系,导致异常检测准确率不高、根因定位不准确.提出了一种基于Transformer的微服务性能异常检测与根因定位方法TTEDA(Transformer trace explore data analysis).首先将调用链构建为微服务调用序列和对应的响应时间序列,然后借助自注意力机制捕捉微服务之间的调用关系,并通过编码器-解码器建立微服务的响应时间与其调用路径之间的关联关系,从而获得微服务在不同的调用链上的正常响应时间分布.基于学习到的正常模式判断调用链的异常,并可将异常精确到微服务级别.进一步地,利用微服务之间的调用关系以及异常的传播方式,对出现性能异常的微服务进行反向拓扑排序,实现了准确快速的根因定位.在开源基准微服务系统Train-Ticket的数据集和AIops挑战赛数据集评估了TTEDA的有效性,相比于同类异常检测方法AEVB,Multi-LSTM,TraceAnomaly,精确率平均提高了48.6%,30.2%,3.5%,召回率平均提高了34.7%,1.1%,4.1%.相比于根因定位算法MonitorRank和TraceAnomaly,根因定位的准确率分别提高了35.4个百分点和6.1个百分点.

关键词：微服务异常检测根因定位调用链 Transformer

同方期刊数据库