GRACE: Generating Concise and Informative Contrastive Sampleto Explain Neural Network Model’s Predic
文章目錄
GRACE: Generating Concise and Informative Contrastive Sampleto Explain Neural Network Model’s Prediction
靈感來源：因果關係論“干預解釋” 哲學“解釋是對立的”
直觀解釋：給定一個模型的預測為標籤X, GRACE介入並生成了一個被分類為Y的經過最小修改的對比樣本，通過直觀的文字解釋，回答了“為什麼是X而不是Y?”
關鍵詞：
可解釋性，相對，資料生成（ps：主要針對的資料型別是扁平化，表格化的資料）
挑戰：
- 扁平化資料具有高緯的相互關聯特徵，如果對top-k個特徵進行評分，會導致資訊冗餘和超載
- 圖片和文字能夠很好的標識出模型關注的部分，但是對於扁平資料卻不能給出一個容易理解的解釋
- 近似決策邊界並不一定能夠為通常缺乏ML背景的終端使用者提供關於模型決策的清晰理解，why X rather than Y
1. Explanation by Intervention（解釋干預）
-
定義1干預對比解釋：特徵子集的一個斷言P是對一個預測結果X的解釋，如果滿足斷言P的特徵的變化也會使預測結果變為Y(≠X)，而其他特徵不變。（這裡的P可以理解為一組特徵子集，這組特徵子集能夠對結果進行解釋）
-
定義2影響得分函式：
(1 是一個指標函式，X和Y是在干預後的相應的預測結果，分數越大，P對於解釋的影響就越大）
2. From Intervention to Generation（從干預到生成）
從圖一，可以看出x2（hat）就是一個由斷言P2（avg_longest_capital=1.0）生成的樣例，使用P2，我們可以生成解釋文字呈現給使用者，比如“如果最長的大寫單詞的平均長度為1.0，該訊息將被歸類為非垃圾郵件而不是垃圾郵件”。
目標函式
其中
關鍵在於如何通過最少（或者說改變最重要的特徵）來使得標籤改變，改變的特徵越少，那麼解釋就越明確，為了完成這樣的目標，定義一個約束
其中S是由x得到x（hat）的特徵集合，|S|為特徵改變的數量
【】
同時不僅僅希望得到最小的特徵改變，也希望這些特徵是具有意義的，對於S，我們希望它包含一組擾動特徵，他們之間任何成對的相互資訊都存在一個上限，所以新增一下約束
其中SU（）為對稱不確定函式，相互資訊的一種規範化形式
最後，為了使得我們的斷言P是真實的，我們必須限制P中的特徵必須在資料集的域內
4. GRACE: GENERATING INTERVENTIVECONTRASTIVE SAMPLES FOR MODEL EXPLANATION
- 基於熵的正向特徵排序，目的是找到滿足約束條件的例項依賴特徵
- 根據所選特徵生成對比樣本
- 基於生成樣本x（hat）建立一個解釋性文字
4.1 對比樣本生成演算法
對於top k 個特徵，不斷將原始x加上正交投影，直到能夠越過決策邊界
由於上面操作會將x（hat）拉到資料投影空間之外，所以使用P（）將向量拉回投影空間
最後由於對於固定長度的k並不能總是保證能夠越過決策邊界，所以不斷將k增到到K（即所有候選特徵），直到產生能夠跨越決策邊界的x（hat）
4.2 Entropy-Based Forward Feature Ranking（基於熵的正向排序）
通過特徵排序方法，選擇出針對某個例項x的特徵子集
兩種方法：
- 利用梯度求解，得到按順序排列的特徵子集（得到的是全域性區域的特徵特徵排序，不是x決策邊界臨近區域得特徵排序）
其中
W
w
(
x
)
j
W^j_{w(x)}
Ww(x)j是通過可解釋性模型（邏輯迴歸，決策樹）產生的特徵重要性分數，
g
(
x
)
g(x)
g(x)是在x周圍取的一個數據子集訓練的，使用最大似然估計loss
然而這樣選擇出的特徵資訊量會少，所以要生成新順序的特徵子集，從特徵子集
U
U
U中按照順序，按下列演算法將特徵加入到
U
∗
U^*
U∗中
I
G
IG
IG代表給定
X
j
X^j
Xj的情況下
X
i
X^i
Xi的資訊增益，
H
H
H代表實證熵，代表資訊決定是否將屬性
X
i
X^i
Xi加入到屬性集中
演算法描述
演算法總體流程
4.3 生成解釋文字
