基于差分测试的深度学习算子稳定性分析技术

作     者：吕军 

作者单位：南京大学 

学位级别：硕士

导师姓名：刘嘉;房春荣

授予年度：2021年

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

主      题：深度学习算子 差分测试 模糊测试 变异策略 模拟退火算法 

摘      要：近年来,随着深度学习技术在自动驾驶、图像识别等领域不断产生突破性成果,研究人员逐步加强对深度学习框架的重视,涌现了大量深度学习框架。但是由于深度学习框架不断更新以及运行硬件环境的多样性,使得深度学习算子具有多种实现形式和运行环境,存在运算不稳定现象,并且这种不稳定因素也会存在于使用这些算子搭建的深度学习模型中。因此如何分析深度学习算子稳定性成为目前一个亟需研究解决的问题。基于上述背景,结合算子测试和差分测试的特征,本文提出基于差分测试的深度学习算子稳定性分析技术,并给出相应系统实现。系统使用导向型模糊测试方案进行开发设计,导向目标为特定差分评估值。系统核心模块由算子与种子管理、种子队列管理、变异策略、差分测试模块组成。算子与种子管理模块负责算子和种子的增删改查功能,并实时同步文件资源和相应数据库记录;种子队列管理模块将种子按优先级排序,并使用模拟退火算法淘汰部分种子,防止种子队列包含大量无效、冗余种子;变异策略模块负责从扰动函数列表选取部分扰动函数,并对选取种子进行扰动变异生成测试用例;差分测试模块基于测试用例进行差分测试,记录执行过程中触发的差分异常,并将差分测试结果反馈给种子队列管理模块。本文使用本系统分析评估Tensor Flow1.9.0、Py Torch1.3.1、Caffe1.0框架中常见算子在CPU和GPU运行模式下的稳定性。结果表明conv2d、avg＿pooling、sigmoid、tanh、softmax算子在不同框架、平台运算结果存在差异,出现差分异常现象,不具备良好的稳定性;max＿pooling、relu、leaky relu算子在不同框架、平台运算结果稳定一致,具有良好的稳定性。此外,算子在GPU运行模式下的稳定性略优于CPU。这表明本系统具备深度学习算子稳定性分析能力。