微服务场景下的根因定位研究

作     者：路晏 

作者单位：北京邮电大学 

学位级别：硕士

导师姓名：戚琦

授予年度：2022年

学科分类：08[工学] 0835[工学-软件工程] 081202[工学-计算机软件与理论] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：微服务 Transformer 故障发现 根因定位 

摘      要：微服务架构为大型软件的开发提供了易扩展、敏捷、高效的开发范式,同时稳定和可靠是微服务需要保证的核心目标。由于微服务的庞大的规模、复杂的动态关联、以及多层次性为微服务的运维工作带来许多困难和挑战。本文重点研究了微服务场景中的故障发现和根因定位,运维人员可以通过他们快速准确的发现并定位故障。微服务中的故障发现面临着频繁的迭代、海量的数据和复杂的服务关系等问题,现有的方法通常依赖于过多的监测和跟踪数据,这增加了异常检测和定位的开销。基于循环神经网络的自动编码器解决方案在训练和推理过程中依然不够有效,特别是当涉及到长序列重建时,它们没有考虑容器之间关系的影响。为了解决这些问题,本文提出了一个基于Transformer的异常检测模型TAD(Transformer-based Anomaly Detector),其采用注意力机制对时间序列的自相关性和容器之间的动态关系进行建模。TAD模型采用Temporal Block和Container Block结构,并使用Sandwish结构将两个模块组合,对容器性能指标进行检测,并通过重构误差实现故障发现。本研究针对真实的微服务环境中收集的sock-shop数据集和公开的SMD数据集进行了测试,评估故障发现的性能。TAD模型在故障发现性能、异常检测的延时在两个数据集上得到了最优结果,同时通过消融实验验证TAD模型的可靠性和效果,为下一步的根因定位奠定了基础。由于微服务具有多个层次,本文将微服务切分为服务层、资源层和指标层。根因指标定位面临着跨越多个层级才能定位到指标的挑战。本文提出了一种多层次的根因定位方法,通过调用链数据和指标数据,最终定位到潜在的根因。除此之外,采用差分调用延时来对调用链进行拆解,使用基于广度优先遍历(Breadth First Search,BFS)潜在故障发现算法定位从服务层定位资源层的潜在故障区域。结合根因的三种特性提出了多因素根因分数,对潜在故障区域中的指标进行根因排序从而定位到根因指标。该方法在微服务环境中收集的Sock-Shop数据集和AIOps2020竞赛数据集上的效果均达到了最佳。