引用本文

陈艺元, 李建威, 邵文泽, 孙玉宝. 基于逐层增量分解的深度网络神经元相关性解释方法. 自动化学报, 2024, 50(10): 2049−2062 doi: 10.16383/j.aas.c230651

Chen Yi-Yuan, Li Jian-Wei, Shao Wen-Ze, Sun Yu-Bao. Layer-wise increment decomposition-based neuron relevance explanation for deep networks. Acta Automatica Sinica, 2024, 50(10): 2049−2062 doi: 10.16383/j.aas.c230651

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c230651

关键词

神经网络，可解释性，决策相关性，逐层相关性传播，类激活图，积分梯度 

摘要

神经网络的黑箱特性严重阻碍了人们关于网络决策的直观分析与理解. 尽管文献报道了多种基于神经元贡献度分配的决策解释方法, 但是现有方法的解释一致性难以保证, 鲁棒性更是有待改进. 本文从神经元相关性概念入手, 提出一种基于逐层增量分解的神经网络解释新方法LID-Taylor (Layer-wise increment decomposition), 且在此基础上先后引入针对顶层神经元相关性的对比提升策略, 以及针对所有层神经元相关性的非线性提升策略, 最后利用交叉组合策略得到最终方法SIG-LID-IG, 实现了决策归因性能的鲁棒跃升. 通过热力图对现有工作与提出方法的决策归因性能做了定性定量评估. 结果显示, SIG-LID-IG在神经元的正、负相关性的决策归因合理性上均可媲美甚至优于现有工作. SIG-LID-IG在多尺度热力图下同样取得了精确性更高、鲁棒性更强的决策归因.

文章导读

当下, 以卷积神经网络(Convolutional neural networks, CNN)[1−4]为代表的深度学习方法在图像分类[1]、目标识别[5−6]等领域取得了巨大的成功. 然而, 神经网络具有明显的黑箱特性, 内部神经元的复杂组合严重阻碍了人们关于网络决策的直观分析与理解[7]. 为此, 如何打开黑箱, 可信地再现决策过程, 成为近年来众多神经网络解释方法的要旨所在. 

可解释性研究的目的之一是使人类直观地理解神经网络提取的特征并作出决策的过程. 其中, 一类代表性解释方法注重于直观感受提取的特征[8], 以便于理解内部神经元学习的深度语义表示. 例如激活最大化方法(Activation maximization, AM)[9]逆转中间层神经元的特征提取过程, 将内部神经元映射至输入域. AM通过优化搜索使神经元激活值最大化的像素域图像, 将特征表示可视化为潜在的输入图像. 

另外一类工作注重于特征决策, 以特征贡献度分配的方式定性或定量刻画网络的决策过程. 如, 以类激活图(Class activation mapping, CAM)[10]为代表的系列方法[11−13]利用中间特征的热力图进行决策可视化, 以直观理解决策结果与决策区域之间的语义相关性. 而以逐层相关性传播(Layer-wise relevance propagation, LRP)[14]为代表的贡献度分配方法[15−20], 为每个神经元计算关于网络决策的相关性得分, 可以实现复杂特征决策过程的定量化解释. 简单而言, LRP方法为所有神经元显式分配贡献度, 而决策结果是神经元贡献度之和. LRP的神经元相关性也可用于生成热力图, 可视化神经元的贡献. 积分梯度(Integrated gradients, IG)[21]与SHAP (Shapley additive explanations)[22]等方法进一步构建了决策归因的公理化系统, 同时探讨了贡献度得分应满足的若干必要性质. 

本文注意到, 尽管文献报道了多种基于贡献度分配的网络决策解释方法, 但是不同方法的解释一致性难以保证, 精确性和鲁棒性更是有待改进, 打开“黑箱”依然任重道远. 精确性指的是神经元相关性解释方法即神经元相关性(贡献度)归因的准确度, 而鲁棒性则是神经元相关性解释方法在噪声、平移抖动与缩放等变换下的抗干扰性. 

本文的研究动机源于LRP方法, 将从神经元的相关性概念入手, 通过对神经元的贡献度得分的本原探索, 提出一种基于逐层增量分解的神经网络解释新方法(Layer-wise increment decomposition, LID), 且在此基础上进一步探讨了神经元的顶层相关性与中间层相关性计算方法的提升策略与交叉组合策略. 具体而言, 本文工作归纳如下: 

1) 首先, 提出一种基于泰勒的逐层增量分解新方法LID-Taylor, 为神经元的相关性解释和决策贡献度分配提供了一种新视角. 

2) 其次, 引入一种针对顶层神经元相关性的对比提升策略, 通过更为合理的正、负贡献度分配, 助力LID-Taylor实现决策归因的类区分性. 

3) 之后, 引入一种针对所有层神经元相关性的非线性提升策略, 实现基于梯度积分的增量计算, 助力LID-Taylor逐层改善决策归因的精确性. 

4) 最后, 针对顶层神经元相关性采取对比与非线性交叉组合提升策略, 助力LID-Taylor决策归因性能的鲁棒跃升, 本文将最终的方法称为SIG-LID-IG. 

在实验验证部分, 本文通过热力图对现有工作与本文方法的决策归因性能做了定性与定量评估. 第4.2节与第4.3节的实验结果表明, 本文SIG-LID-IG在神经元的正相关性、负相关性的决策归因合理性上均可媲美甚至优于现有方法, 具有更高的精确性. 第4.4节的实验表明, 本文方法在抗扰动方面还具有很好的鲁棒性. 此外, 相较于LayerCAM[12], SIG-LID-IG在多尺度热力图下同样取得了精确性更高、鲁棒性更强的决策归因. 

图 1  Softmax函数

图 2  增量相关性的逐层分配与吸收

图 3  本文神经元相关性解释方法的全景图

神经网络的黑箱特性严重阻碍了人们关于网络决策的直观分析与理解. 尽管文献报道了多种基于神经元贡献度分配的决策解释方法, 但是现有方法的解释一致性难以保证, 鲁棒性更是有待改进, 打开“黑箱”依然任重道远. 本文从神经元相关性概念入手, 通过对逐层神经元的贡献度得分的本原探索, 提出一种基于逐层增量分解的神经网络解释新方法LID-Taylor, 且在此基础上先后引入针对顶层神经元相关性的对比提升策略, 以及针对所有层神经元相关性的非线性提升策略, 最后利用交叉组合策略得到本文最终方法SIG-LID-IG, 实现了决策归因性能的鲁棒跃升. 在实验验证部分, 本文通过热力图对现有工作与本文方法的决策归因性能做了定性与定量评估. 结果显示, SIG-LID-IG在神经元的正相关性、负相关性的决策归因合理性上均可媲美甚至优于现有工作. 相较于LayerCAM, SIG-LID-IG在多尺度热力图下同样取得了精确性更高、鲁棒性更强的决策归因. 本文后续工作将基于SIG-LID-IG这一解释方法探讨可迁移的神经网络黑箱攻击问题. 

作者简介

陈艺元

南京邮电大学硕士研究生. 主要研究方向为深度学习模型的可解释性和迁移对抗攻击. E-mail: cyy280113999@gmail.com

李建威

南京邮电大学硕士研究生. 主要研究方向为深度学习模型的迁移对抗攻击. E-mail: 1022010429@njupt.edu.cn

邵文泽

南京邮电大学教授. 主要研究方向为计算成像, 视觉感知, 黑箱优化和可理解人工智能. 本文通信作者. E-mail: shaowenze@njupt.edu.cn

孙玉宝

南京信息工程大学教授. 主要研究方向为计算机视觉, 快照压缩成像, 深度学习. E-mail: sunyb@nuist.edu.cn