源码处理场景下人工智能系统鲁棒性验证方法

作     者：杨焱景 毛润丰 谭睿 沈海峰 荣国平 YANG Yan-Jing;MAO Run-Feng;TAN Rui;SHEN Hai-Feng;RONG Guo-Ping

作者机构：南京大学软件学院江苏南京210093 Discipline of Information TechnologyPeter Faber Business SchoolAustralian Catholic UniversitySydney NSW 2060Australia 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2023年第34卷第9期

页      面：4018-4036页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(62072227,62202219) 国家重点研发计划(2019YFE0105500) 江苏省重点研发计划(BE2021002-2) 南京大学计算机软件新技术国家重点实验室创新项目(ZZKT2022A25) 海外开放课题(KFKT2022A09) 

主　　题：源码结构化分析 源码对抗攻击 AI系统鲁棒性验证 

摘      要：人工智能(artificial intelligence, AI)技术的发展为源码处理场景下AI系统提供了强有力的支撑.相较于自然语言处理,源码在语义空间上具有特殊性,源码处理相关的机器学习任务通常采用抽象语法树、数据依赖图、控制流图等方式获取代码的结构化信息并进行特征抽取.现有研究通过对源码结构的深入分析以及对分类器的灵活应用已经能够在实验场景下获得优秀的结果.然而,对于源码结构更为复杂的真实应用场景,多数源码处理相关的AI系统出现性能滑坡,难以在工业界落地,这引发了从业者对于AI系统鲁棒性的思考.由于基于AI技术开发的系统普遍是数据驱动的黑盒系统,直接衡量该类软件系统的鲁棒性存在困难.随着对抗攻击技术的兴起,在自然语言处理领域已有学者针对不同任务设计对抗攻击来验证模型的鲁棒性并进行大规模的实证研究.为了解决源码处理场景下AI系统在复杂代码场景下的不稳定性问题,提出一种鲁棒性验证方法 (robustness verification by Metropolis-Hastings attack method, RVMHM),首先使用基于抽象语法树的代码预处理工具提取模型的变量池,然后利用MHM源码攻击算法替换变量扰动模型的预测效果.通过干扰数据和模型交互过程,观察攻击前后的鲁棒性验证指标的变化量来衡量AI系统的鲁棒性.以漏洞预测作为基于源码处理的二分类典型场景为例,通过在3个开源项目的数据集上验证12组AI漏洞预测模型鲁棒性说明RVMHM方法针对源码处理场景下AI系统进行鲁棒性验证的有效性.