基于逐层增量分解的深度网络神经元相关性解释方法

作     者：陈艺元 李建威 邵文泽 孙玉宝 CHEN Yi-Yuan;LI Jian-Wei;SHAO Wen-Ze;SUN Yu-Bao

作者机构：智能信息处理与通信技术省高校重点实验室(南京邮电大学)南京210003 南京邮电大学通信与信息工程学院南京210003 南京信息工程大学教育部数字取证工程研究中心南京210044 

出 版 物：《自动化学报》 (Acta Automatica Sinica)

年 卷 期：2024年第50卷第10期

页      面：2049-2062页

核心收录：

学科分类：08[工学] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金(61771250 61972213 62276139 U2001211) 青蓝工程资助 

主　　题：神经网络 可解释性 决策相关性 逐层相关性传播 类激活图 积分梯度 

摘      要：神经网络的黑箱特性严重阻碍了人们关于网络决策的直观分析与理解.尽管文献报道了多种基于神经元贡献度分配的决策解释方法,但是现有方法的解释一致性难以保证,鲁棒性更是有待改进.本文从神经元相关性概念入手,提出一种基于逐层增量分解的神经网络解释新方法LID-Taylor(Layer-wise increment decomposition),且在此基础上先后引入针对顶层神经元相关性的对比提升策略,以及针对所有层神经元相关性的非线性提升策略,最后利用交叉组合策略得到最终方法SIG-LID-IG,实现了决策归因性能的鲁棒跃升.通过热力图对现有工作与提出方法的决策归因性能做了定性定量评估.结果显示,SIG-LID-IG在神经元的正、负相关性的决策归因合理性上均可媲美甚至优于现有工作.SIG-LID-IG在多尺度热力图下同样取得了精确性更高、鲁棒性更强的决策归因.