基于可解释性分析的深度神经网络优化方法

作     者：吴欢欢 谢瑞麟 乔塬心 陈翔 崔展齐 Wu Huanhuan;Xie Ruilin;Qiao Yuanxin;Chen Xiang;Cui Zhanqi

作者机构：北京信息科技大学计算机学院北京100101 南通大学信息科学技术学院江苏南通226019 

出 版 物：《计算机研究与发展》 (Journal of Computer Research and Development)

年 卷 期：2024年第61卷第1期

页      面：209-220页

核心收录：

学科分类：0710[理学-生物学] 1202[管理学-工商管理] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 08[工学] 0837[工学-安全科学与工程] 0835[工学-软件工程] 0836[工学-生物工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 081202[工学-计算机软件与理论] 

基　　金：江苏省前沿引领技术基础研究专项(BK202002001) 国家自然科学基金项目(61702041) 北京信息科技大学“勤信人才”培育计划项目(QXTCP C201906) 

主　　题：深度神经网络 DNN优化 DNN缺陷 DNN性能 可解释性分析 

摘      要：近年来,深度神经网络(deep neural network,DNN)在众多领域取得了广泛应用,甚至在安全关键系统中已经可以代替人类作出决策,如自动驾驶和智慧医疗等,这对DNN的可靠性提出了更高的要求.由于DNN具有复杂的多层非线性网络结构,难以理解其内部预测机制,也很难对其进行调试.现有的DNN调试工作主要通过修改DNN的参数和扩增数据集提升DNN性能,以达到优化的目的.然而直接调整参数难以控制修改的幅度,甚至使模型失去对训练数据的拟合能力;而无指导地扩增训练数据则会大幅增加训练成本.针对此问题,提出了一种基于可解释性分析的DNN优化方法(optimizing DNN based on interpretability analysis,OptDIA).对DNN的训练过程及决策行为进行解释分析,根据解释分析结果,将原始数据中对DNN决策行为产生不同程度影响的部分以不同概率进行数据变换以生成新训练数据,并重训练DNN,以提升模型性能达到优化DNN的目的.在使用3个数据集训练的9个DNN模型上的实验结果表明,OptDIA可以将DNN的准确率提升0.39~2.15个百分点,F1-score提升0.11~2.03个百分点.