作者 | 王小賤

來源 | BIGSCity知乎專欄

摘要：《深度學習的可解釋性研究》系列文章希望能用盡可能淺顯的語言帶領大家瞭解可解釋性的概念與方法，以及關於深度學習可解釋性工作的研究成果。本文是該系列的第一部分。

01

深度學習的可解釋性研究（一）

 讓模型具備說人話的能力

可解釋性是什麼？

廣義上的可解釋性指在我們需要了解或解決一件事情的時候，我們可以獲得我們所需要的足夠的可以理解的資訊。

比如我們在除錯bug的時候，需要通過變數審查和日誌資訊定位到問題出在哪裡。比如在科學研究中面臨一個新問題的研究時，我們需要查閱一些資料來了解這個新問題的基本概念和研究現狀，以獲得對研究方向的正確認識。

反過來理解，如果在一些情境中我們無法得到相應的足夠的資訊，那麼這些事情對我們來說都是不可解釋的。

而具體到機器學習領域來說，以最使用者友好的決策樹模型為例，模型每作出一個決策都會通過一個決策序列來向我們展示模型的決策依據：比如男性&未婚&博士&禿頭的條件對應“不感興趣”這個決策，而且決策樹模型自帶的基於資訊理論的篩選變數標準也有助於幫助我們理解在模型決策產生的過程中哪些變數起到了顯著的作用。

所以在一定程度上，我們認為決策樹模型是一個具有比較好的可解釋性的模型，在以後的介紹中我們也會講到，以決策樹為代表的規則模型在可解釋性研究方面起到了非常關鍵的作用。

再以使用者最不友好的多層神經網路模型為例，模型產生決策的依據是什麼呢？大概是以比如 1/(e^-(2*1/(e^(-(2*x+y))+1) + 3*1/(e^(-(8*x+5*y))+1))+1) 是否大於0.5為標準（這已經是最簡單的模型結構了），這一連串的非線性函式的疊加公式讓人難以直接理解神經網路的“腦回路”，所以深度神經網路習慣性被大家認為是黑箱模型。

17年ICML的Tutorial中給出的一個關於可解釋性的定義是：Interpretation is the process of giving explanations to Human.

總結一下就是“說人話”，“說人話”，“說人話”，不以人類可以理解的方式給出的解釋都叫耍流氓，記住這三個字，你就差不多把握了可解釋性的精髓所在。

我們為什麼需要可解釋性？

廣義上來說我們對可解釋性的需求主要來源於對問題和任務瞭解得還不夠充分。具體到深度學習/機器學習領域，就像我們上文提到的多層神經網路存在的問題，儘管高度的非線性賦予了多層神經網路極高的模型表示能力，配合一些堪稱現代煉丹術的調參技術可以在很多問題上達到非常喜人的表現，大家如果經常關注AI的頭條新聞，那些機器學習和神經網路不可思議的最新突破甚至經常會讓人產生AI馬上要取代人類的恐懼和幻覺。

但正如近日貝葉斯網路的創始人Pearl所指出的，“幾乎所有的深度學習突破性的本質上來說都只是些曲線擬合罷了”，他認為今天人工智慧領域的技術水平只不過是上一代機器已有功能的增強版。

雖然我們造出了準確度極高的機器，但最後只能得到一堆看上去毫無意義的模型引數和擬合度非常高的判定結果，但實際上模型本身也意味著知識，我們希望知道模型究竟從資料中學到了哪些知識（以人類可以理解的方式表達的）從而產生了最終的決策。從中是不是可以幫助我們發現一些潛在的關聯，比如我想基於深度學習模型開發一個幫助醫生判定病人風險的應用，除了最終的判定結果之外，我可能還需要了解模型產生這樣的判定是基於病人哪些因素的考慮。如果一個模型完全不可解釋，那麼在很多領域的應用就會因為沒辦法給出更多可靠的資訊而受到限制。這也是為什麼在深度學習準確率這麼高的情況下，仍然有一大部分人傾向於應用可解釋性高的傳統統計學模型的原因。

不可解釋同樣也意味著危險，事實上很多領域對深度學習模型應用的顧慮除了模型本身無法給出足夠的資訊之外，也有或多或少關於安全性的考慮。比如，下面一個非常經典的關於對抗樣本的例子，對於一個CNN模型，在熊貓的圖片中添加了一些噪聲之後卻以99.3%的概率被判定為長臂猿。

在熊貓圖片中加入噪聲，模型以99.3%的概率將圖片識別為長臂猿

事實上其他一些可解釋性較好的模型面對的對抗樣本問題可能甚至比深度學習模型更多，但具備可解釋性的模型在面對這些問題的時候是可以對異常產生的原因進行追蹤和定位的，比如線性迴歸模型中我們可以發現某個輸入引數過大/過小導致了最後判別失常。但深度學習模型很難說上面這兩幅圖到底是因為哪些區別導致了判定結果出現瞭如此大的偏差。儘管關於對抗樣本的研究最近也非常火熱，但依然缺乏具備可解釋性的關於這類問題的解釋。

當然很多學者對可解釋性的必要性也存有疑惑，在NIPS 2017會場上，曾進行了一場非常激烈火爆的主題為“可解釋性在機器學習中是否必要”的辯論，大家對可解釋性的呼聲還是非常高的。

但人工智慧三巨頭之一的Yann LeCun卻認為：人類大腦是非常有限的，我們沒有那麼多腦容量去研究所有東西的可解釋性。有些東西是需要解釋的，比如法律，但大多數情況下，它們並沒有你想象中那麼重要。比如世界上有那麼多應用、網站，你每天用Facebook、Google的時候，你也沒想著要尋求它們背後的可解釋性。

LeCun也舉了一個例子：他多年前和一群經濟學家也做了一個模型來預測房價。第一個用的簡單的線性於猜測模型，經濟學家也能解釋清楚其中的原理；第二個用的是複雜的神經網路，但效果比第一個好上不少。結果，這群經濟學家想要開公司做了。你說他們會選哪個？LeCun表示，任何時候在這兩種裡面選擇都會選效果好的。就像很多年裡雖然我們不知道藥物裡的成分但一直在用一樣。

但是不可否認的是，可解釋性始終是一個非常好的性質，如果我們能兼顧效率、準確度、說人話這三個方面，具備可解釋性模型將在很多應用場景中具有不可替代的優勢。

有哪些可解釋性方法？

我們之前也提到機器學習的目的是從資料中發現知識或解決問題，那麼在這個過程中只要是能夠提供給我們關於資料或模型的可以理解的資訊，有助於我們更充分地發現知識、理解和解決問題的方法，那麼都可以歸類為可解釋性方法。如果按照可解釋性方法進行的過程進行劃分的話，大概可以劃分為三個大類：

1. 在建模之前的可解釋性方法

2. 建立本身具備可解釋性的模型

3. 在建模之後使用可解釋性方法對模型作出解釋

在建模之前的可解釋性方法

這一類方法其實主要涉及一些資料預處理或資料展示的方法。機器學習解決的是從資料中發現知識和規律的問題，如果我們對想要處理的資料特徵所知甚少，指望對所要解決的問題本身有很好的理解是不現實的，在建模之前的可解釋性方法的關鍵在於幫助我們迅速而全面地瞭解資料分佈的特徵，從而幫助我們考慮在建模過程中可能面臨的問題並選擇一種最合理的模型來逼近問題所能達到的最優解。

資料視覺化方法就是一類非常重要的建模前可解釋性方法。很多對資料探勘稍微有些瞭解的人可能會認為資料視覺化是資料探勘工作的最後一步，大概就是通過設計一些好看又唬人的圖表或來展示你的分析挖掘成果。但大多數時候，我們在真正要研究一個數據問題之前，通過建立一系列方方面面的視覺化方法來建立我們對資料的直觀理解是非常必須的，特別是當資料量非常大或者資料維度非常高的時候，比如一些時空高維資料，如果可以建立一些一些互動式的視覺化方法將會極大地幫助我們從各個層次角度理解資料的分佈，在這個方面我們實驗室也做過一些非常不錯的工作。

還有一類比較重要的方法是探索性質的資料分析，可以幫助我們更好地理解資料的分佈情況。比如一種稱為MMD-critic方法中，可以幫助我們找到資料中一些具有代表性或者不具代表性的樣本。

使用MMD-critic從Imagenet資料集中學到的代表性樣本和非代表性樣本（以兩種狗為例）

建立本身具備可解釋性的模型

建立本身具備可解釋性的模型是我個人覺得是最關鍵的一類可解釋性方法，同樣也是一類要求和限定很高的方法，具備“說人話”能力的可解釋性模型大概可以分為以下幾種：

1. 基於規則的方法（Rule-based）

2. 基於單個特徵的方法（Per-feature-based）

3. 基於例項的方法（Case-based）

4. 稀疏性方法（Sparsity）

5. 單調性方法（Monotonicity）

基於規則的方法比如我們提到的非常經典的決策樹模型。這類模型中任何的一個決策都可以對應到一個邏輯規則表示。但當規則表示過多或者原始的特徵本身就不是特別好解釋的時候，基於規則的方法有時候也不太適用。

基於單個特徵的方法主要是一些非常經典的線性模型，比如線性迴歸、邏輯迴歸、廣義線性迴歸、廣義加性模型等，這類模型可以說是現在可解釋性最高的方法，可能學習機器學習或計算機相關專業的朋友會認為線性迴歸是最基本最低階的模型，但如果大家學過計量經濟學，就會發現大半本書都在討論線性模型，包括經濟學及相關領域的論文其實大多數也都是使用線性迴歸作為方法來進行研究。

這種非常經典的模型全世界每秒都會被用到大概800多萬次。為什麼大家這麼青睞這個模型呢？除了模型的結構比較簡單之外，更重要的是線性迴歸模型及其一些變種擁有非常solid的統計學基礎，統計學可以說是最看重可解釋性的一門學科了，上百年來無數數學家統計學家探討了在各種不同情況下的模型的引數估計、引數修正、假設檢驗、邊界條件等等問題，目的就是為了使得在各種不同情況下都能使模型具有有非常好的可解釋性，如果大家有時間有興趣的話，除了學習機器學習深度模型模型之外還可以儘量多瞭解一些統計學的知識，可能對一些問題會獲得完全不一樣的思考和理解。

基於例項的方法主要是通過一些代表性的樣本來解釋聚類/分類結果的方法。比如下圖所展示的貝葉斯例項模型（Bayesian Case Model，BCM），我們將樣本分成三個組團，可以分別找出每個組團中具有的代表性樣例和重要的子空間。比如對於下面第一類聚類來說，綠臉是具有代表性的樣本，而綠色、方塊是具有代表性的特徵子空間。

使用BCM學到的分類及其對應的代表性樣本和代表性特徵子空間

基於例項的方法的一些侷限在於可能挑出來的樣本不具有代表性或者人們可能會有過度泛化的傾向。

基於稀疏性的方法主要是利用資訊的稀疏性特質，將模型儘可能地簡化表示。比如如下圖的一種圖稀疏性的LDA方法，根據層次性的單詞資訊形成了層次性的主題表達，這樣一些小的主題就可以被更泛化的主題所概括，從而可以使我們更容易理解特定主題所代表的含義。

Graph-based LDA 中的主題層次結構

基於單調性的方法：在很多機器學習問題中，有一些輸入和輸出之間存在正相關/負相關關係，如果在模型訓練中我們可以找出這種單調性的關係就可以讓模型具有更高的可解釋性。比如醫生對患特定疾病的概率的估計主要由一些跟該疾病相關聯的高風險因素決定，找出單調性關係就可以幫助我們識別這些高風險因素。

在建模之後使用可解釋性性方法作出解釋

建模後的可解釋性方法主要是針對具有黑箱性質的深度學習模型而言的，主要分為以下幾類的工作：

1. 隱層分析方法

2. 模擬/代理模型

3. 敏感性分析方法

這部分是我們接下來介紹和研究的重點，因此主要放在後續的文章中進行講解，在本篇中不作過多介紹。

除了對深度學習模型本身進行解釋的方法之外，也有一部分工作旨在建立本身具有可解釋性的深度學習模型，這和我們前面介紹通用的可解釋性模型有區別也有聯絡，也放到以後的文章中進行介紹。

02

深度學習的可解釋性研究（二）

不如開啟箱子看一看

在上一節中我們介紹了深度學習可解釋性的三種方法：1. 隱層分析法，2. 敏感性分析法 3. 代理/替代模型法。在這一節中我們主要介紹第一種方法：隱層分析法。

黑箱真的是黑箱嗎？——深度學習的物質組成視角

通過上一節的介紹我們也瞭解到，深度學習的黑箱性主要來源於其高度非線性性質，每個神經元都是由上一層的線性組合再加上一個非線性函式的得到，我們無法像理解線性迴歸的引數那樣通過非常solid的統計學基礎假設來理解神經網路中的引數含義及其重要程度、波動範圍。

但實際上我們是知道這些引數的具體值以及整個訓練過程的，所以神經網路模型本身其實並不是一個黑箱，其黑箱性在於我們沒辦法用人類可以理解的方式理解模型的具體含義和行為，而神經網路的一個非常好的性質在於神經元的分層組合形式，這讓我們可以用物質組成的視角來理解神經網路的運作方式。比如如下圖所示，人體的組成過程是從分子-細胞-組織-器官-系統-人體：

人體的組成結構示意

而通過一些對神經網路隱層的視覺化我們也發現：比如下圖的一個人臉識別的例子，神經網路在這個過程中先學到了邊角的概念，之後學到了五官，最後學到了整個面部的特徵。

(以上內容參考了@YJango在如何簡單形象又有趣地講解神經網路是什麼？中的回答，侵刪)

如果我們能夠用一些方法來幫助我們理解這個從低階概念到高階概念的生成過程，那麼就離理解神經網路的具體結構就近了很多。而這也可以逐漸幫助我們完成一個“祛魅”的過程，將調參的魔法真正變成一項可控、可解釋的過程。

要理解這個概念的生成過程很重要的一點就是要研究隱層的概念表示，在接下來的部分中我將給大家介紹業界關於隱層分析方法的幾個研究工作。

模型學到了哪些概念？

要理解神經網路中每層都學到了哪些概念一個非常直觀的方法就是通過對隱層運用一些視覺化方法來將其轉化成人類可以理解的有實際含義的影象，這方面一個非常具有代表性的一個工作就是14年ECCV的一篇經典之作：《Visualizing and Understanding Convolutional Networks》，這篇文章主要利用了反捲積的相關思想實現了特徵視覺化來幫助我們理解CNN的每一層究竟學到了什麼東西。我們都知道典型的CNN模型的一個完整卷積過程是由卷積-啟用-池化（pooling）三個步驟組成的。而如果想把一個CNN的中間層轉化成原始輸入空間呢？我們就需要經過反池化-反啟用-反捲積這樣的一個逆過程。整個模型的結構如下圖所示：

反池化：

反池化其實很好理解，以下面的圖片為例，左圖可以表示是池化（pooling）過程，右圖表示反池化（unpooling）過程，池化過程中我們將3*3的一個pooling塊中的最大值取出，而反池化則是將pooling後的值恢復成3*3的畫素單元，由於我們現在只有一個啟用值， 所以只將該啟用值對應原pooling塊中位置的值還原回去，其他的值設定成0。所以在max-pooling的時候，我們不光要知道pooling值，同時也要記錄下pooling值的對應位置，比如下圖pooling值的位置就是(0,1)。

反池化過程

反啟用：

在典型的CNN模型中，我們一般使用Relu作為啟用函式，而反啟用的值和實際的啟用值沒有任何區別：只保留正數，其餘值為0即可。

反捲積：

反捲積的過程其實非常有意思，其實反捲積這個名字多多少少有些誤人子弟，和真正的反捲積並沒有多大關係，真實的含義應該是轉置卷積（Transposed Convolution），CNN模型的卷積過程本質上來講和一般的神經網路沒有任何區別（只不過將一些共用引數組合成了一個濾波器的形式），都可以轉變成一個矩陣乘法的操作（只不過對CNN模型來說是一個引數重複度很高的稀疏矩陣），我們不妨將這個稀疏矩陣表示為 C，那麼後一層和前一層的關係就可以表示為：

而在反向傳播的過程中， 往往可以表示為卷積層對輸入層的梯度，也就是說通過對卷積層進行適當的補0操作，再用原始的卷積核轉置之後的卷積核進行卷積操作，就可以得到相應的梯度矩陣與當前卷積層的乘積，而我們在這裡使用反池化-反啟用之後的特徵（其中包含了大部分為0的數值）進行該操作其實表徵了原始輸入對池化之後的特徵的影響，因為在反啟用過程中保證了所有值非負因此反捲積的過程中符號不會發生改變。

反捲積是個上取樣過程

通過上面的介紹我們其實可以明白，這個反捲積的方法之所以能夠成功地將CNN的隱層可視化出來，一個關鍵就在於通過反啟用-反池化的過程，我們遮蔽掉了很多對當前層的啟用值沒有實際作用的輸入層的影響將其歸為0，通過反捲積操作就得到了僅對當前層有實際貢獻的輸入層的數值——將其作為該層的特徵表示。因為我們最後得到的這個特徵表示和原輸入空間的大小是一致的，其數值表示也對應著原始空間的畫素點，所以在一定程度上，這是我們可以理解的一個特徵表示。

從實驗結果可以看出來，第二層對應著一些邊角或色彩特徵，第三層對應著紋理特徵，第四層對應著一些如狗臉、車輪這樣的區域性部位，第五層則對整體的物體有較強的識別能力。

通過上面這篇論文的工作，我們可以大致地用肉眼來判斷神經網路學到的概念型別，但如果能識別一些語義概念的話對我們來說可能更有意義，在這方面一個非常有代表性的工作是在CVPR 2017上發表《Network Dissection:Quantifying.Interpretability.of.Deep.VisualRepresentations》，這篇文章提出了一種網路切割(Network Dissection)的方法來提取CNN的概念表示。

所謂的網路切割(Network Dissection)方法其實分為三個步驟：

1. 識別一個範圍很廣的人工標註的視覺語義概念資料集

2. 將隱層變數對應到這些概念表示上

3. 量化這些隱層-概念對的匹配程度

為了獲得大量的視覺語義概念資料，研究人員收集了來自不同資料來源的分層語義標註資料（包括顏色、材質、材料、部分、物體、場景這幾個層次），如下圖所示

而如何將隱層變數對應到這些概念表示上並獲得隱層-概念對的匹配程度呢，本文提出瞭如下的方法：

對於每個輸入影象x，獲取每個隱層k的activation map （其實也就是feature map），這樣就可以得到隱層k啟用值的分佈，對於每個隱層k，我們都可以找到一個  使得 ，這個 可以作為接下來判斷區域是否啟用的一個標準。

為了方便對比低解析度的卷積層和輸入層的概念啟用熱圖 

（其實就是標註出了相關概念在影象中的代表區域），我們將低解析度的卷積層的特徵圖 通過插值的方法擴充套件為和原始圖片尺寸一樣大的影象  。

之後再建立一個二元分割  ，這樣就得到了所有被啟用的區域，而我們通過將 和輸入層的概念啟用熱圖 作對比，這樣就可以獲得隱層-概念對的匹配程度：

可以發現如果匹配度高的話，那麼分子就比較大（交叉範圍大），分母就比較小（合併範圍小），我們通過和顏色、材質、材料、部分、物體、場景不同層次的概念作匹配就能得到隱層學到的概念層次了，這個模型的結構如下圖所示：

Network Dissection的模型結構

模型在AlexNet上的實驗結果

從實驗結果中我們也可以發現隨著層數的增加，神經網路學到的概念型別也逐漸變得高階，比如在AlexNet中，前面的卷積層對顏色、材質的識別力較強，後面的卷積層對物體、場景的識別力較強。特別是對物體的識別上，後面的卷積層有突出的優勢。

低階到高階=泛化到特化？

當然從低階概念到高階概念的一個過程中總是會伴隨著一個非常有意思的現象：泛化性逐漸降低，特化性逐漸升高。比如在細胞層次上，人類和其他動物的區別比較小，這個層次的泛化性就高，但到組織器官層次區別就比較大，這個層次的特化性就高。Bengio團隊在2014年發表的一篇工作《How transferable are features in deep neural networks》就是通過研究特徵的可遷移性來對這個從泛化的特化的過程進行評估。

特徵在遷移任務上的表現往往是評價特徵泛化效能的一個非常好的依據。在遷移學習中，我們首先基於基礎資料訓練一個基礎網路，然後將特徵改換到另一個任務上，如果特徵是具備泛化性的，那麼其在遷移任務中應該也是適用的。在這個工作中，作者將1000個ImageNet的分類分成了兩個組，每個組個包含大約500個分類和645000個樣本。然後利用這兩組資料各訓練一個八層的卷積網路baseA和baseB，然後分別取第1到第7個卷積層訓練幾個新的網路，以第3層為例：

自我複製網路（selffer network）B3B，前三層從baseB上覆制並凍結。剩餘的5個卷積層隨機初始化並在資料集B上訓練，這個網路作為控制組。

一個遷移網路（transfer network）A3B：前三層從baseA上覆制並凍結。剩餘的5個卷積層隨機初始化並在資料集B上訓練。如果A3B的任務表現和baseB一樣好，那麼就說明第三層的特徵至少對於B任務來講是泛化的，如果不如baseB，那麼說明第三層特徵就是特化的。

一個自我複製網路B3B+，網路結構和B3B一樣，但所有層都是可學習的。

一個遷移網路A3B+，網路結構和A3B一樣，但所有層都是可學習的。

這些網路的結構圖如下圖所示：

而從實驗結果來看，transferAnB的隨著層數的增加效能在不斷下降（泛化降低，特化提升，這印證了我們對泛化特化性質隨層數變化的基本判斷），而控制組的selfferBnB的效能出現了先下降後上升的現象（泛化和特化都不足夠的中間層既缺乏可學習性，特徵的描述性又不夠強，因而出現了效能下降的現象），transferBnB+和transferAnB+一直維持著比較好的效能，但其中transferAnB+的效能確是最好的，特徵在遷移任務上表現出來的優勢其實也對應了我們在上一節中講的模型本身也意味著知識。

真的需要那麼多層嗎？

對於神經網路來說，隱層的數量永遠都是一個玄學，我們如何理解隱層的數量和模型效能之間的關係呢？Bengio在2016年還做過一個工作《Understanding intermediate layers using linear classifier probes》。這篇文章的思路非常簡單，就是通過在每個隱層中新增一個線性探針來測試隱層的表徵效能。什麼是線性探針呢？也很簡單，就是以每個隱藏層為輸入，判別的label為輸出建立一個邏輯迴歸模型，通過評估模型的準確率我們就能得到隱層在整個訓練過程中以及訓練結束之後表徵效能的變化。

通過32個隱層在二分資料上的實驗我們可以發現隨著隱層的增加表徵效能不斷提高，但提高的比率也逐漸趨於緩慢。

在基於Minist資料訓練的CNN模型上，經過10個週期的訓練，第一個卷積層的表徵效能提升非常明顯，但之後的卷積層並沒有很明顯的提升。

小結

本文中我們主要介紹了四個在隱層分析上有代表性的工作，這類方法在神經網路可解釋性的研究中向我們揭示了隱層性質的變化和概念生成的過程，在之後要講到的敏感性分析方法中，也會不可避免地涉及對隱層的分析。

參考文獻

Matthew D. Zeiler, Rob Fergus. Visualizing and Understanding Convolutional Networks[J]. 2013, 8689:818-833.

David Bau, Bolei Zhou, Aditya Khosla, et al. Network Dissection: Quantifying Interpretability of Deep Visual Representations[J]. 2017:3319-3327.

Yosinski J, Clune J, Bengio Y, et al. How transferable are features in deep neural networks?[J]. Eprint Arxiv, 2014, 27:3320-3328.

Alain G, Bengio Y. Understanding intermediate layers using linear classifier probes[J]. 2016.

未來智慧實驗室是人工智慧學家與科學院相關機構聯合成立的人工智慧，網際網路和腦科學交叉研究機構。

未來智慧實驗室的主要工作包括：建立AI智慧系統智商評測體系，開展世界人工智慧智商評測；開展網際網路（城市）雲腦研究計劃，構建網際網路（城市）雲腦技術和企業圖譜，為提升企業，行業與城市的智慧水平服務。

  如果您對實驗室的研究感興趣，歡迎加入未來智慧實驗室線上平臺。掃描以下二維碼或點選本文左下角“閱讀原文”