1. 程式人生 > >論文筆記:Interpret Neural Networks by Identifying Critical Data Routing Paths

論文筆記:Interpret Neural Networks by Identifying Critical Data Routing Paths

這是一篇做可解釋性AI的文章,文章的主要內容就是提出了一種新的資料表示分析方法,在此之上做了一些分析工作。

Abstract:

大概就是說定義了一個叫CDRPs(可分離路徑),這是文章的主要內容。

Introduction:

  • 大多的視覺化分析方法多是定性的,沒法定量分析
  • 受到知識蒸餾的啟發,在定義CDRPs之前先定義了一個叫Distillation Guided Routing (DGR)的東西,主要原理就是給他一個控制門的那種假設,有點類似(look and think twice嘛?)
  • 用一種新的方式來表達了提取出來的資料
  • 然後在各種上面證實了這種表達能夠保持原始資料的特性什麼balabala的,然後就提到用這個去分析對抗樣本。
思考問題:似乎是針對個體的一個分析的過程?

Methods:

Channel-wise Control Gates

通過壓縮網路來定義這種結點資訊。引入一個control gate的概念,λ是一個λk的集合,λk代表的就是k-th的一個控制門,通過將k層所有的output channel與之相乘,然後去優化λ,就能得到一組控制門。

但是對於λ有兩個要求:
- 應該是非負的
- 最好是稀疏的,接近於0

優化下面的式子:
minΛL(fθ(x), fθ(x; Λ)) + γXk|λk|1
大意就是讓控制們加上的時候得到的最後結果和不加時候得到的之間的差別最小,後面那個是為了保證λ的稀疏。

Routing Paths Representation

不講了,就是把上面的λ做concatenate

Adversarial Samples Detection

比較有意思的一點就是根據CDRPs人家做了一個判斷是不是對抗樣本的二分類。

Experiment

實驗部分是我覺得比較有意思的一部分。

Quantitative Analysis
Ablation Study

在這節裡定義了兩個實驗,一種是topmode的一種的bottom mode的
- top mode:就是把可分的結點中值大的慢慢破壞掉
- bottom mode把可分的節點中值小的先破壞掉
(有趣的是有沒有做過隨機破壞節點的實驗呢,有點類似deep mind之前的那個重要性卷積核的實驗)
不過確實很好的證明了這種方法的優越性。

Semantic Concepts Emerge in CDRPs
  • 對很多類的很多圖片做了一個t-SNE 2D embedding,主要是可視化出來,然後能夠發現越高層越能分類balabala
  • 然後對這些資料做KL等等的度量,發現逐漸上升
  • 再對同類的資料做聚類能夠發現保留了原始圖片的位置資訊

。。。。後面的不是很想寫了,對抗樣本那塊實驗很重要以後再寫