卷积神经网络的可解释性研究综述

作     者：窦慧 张凌茗 韩峰 申富饶 赵健 DOU Hui;ZHANG Ling-Ming;HAN Feng;SHEN Fu-Rao;ZHAO Jian

作者机构：计算机软件新技术国家重点实验室(南京大学)江苏南京210023 南京大学计算机科学与技术系江苏南京210023 南京大学人工智能学院江苏南京210023 南京大学电子科学与工程学院江苏南京210023 

出 版 物：《软件学报》 (Journal of Software)

年 卷 期：2024年第35卷第1期

页      面：159-184页

核心收录：

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：科技部科技创新2030重大项目(2021ZD0201300) 国家自然科学基金(61876076) 

主　　题：神经网络 可解释性 分类 深度学习 

摘      要：神经网络模型性能日益强大,被广泛应用于解决各类计算机相关任务,并表现出非常优秀的能力,但人类对神经网络模型的运行机制却并不完全理解.针对神经网络可解释性的研究进行了梳理和汇总,就模型可解释性研究的定义、必要性、分类、评估等方面进行了详细的讨论.从解释算法的关注点出发,提出一种神经网络可解释算法的新型分类方法,为理解神经网络提供一个全新的视角.根据提出的新型分类方法对当前卷积神经网络的可解释方法进行梳理,并对不同类别解释算法的特点进行分析和比较.同时,介绍了常见可解释算法的评估原则和评估方法.对可解释神经网络的研究方向与应用进行概述.就可解释神经网络面临的挑战进行阐述,并针对这些挑战给出可能的解决方向.