蕭簫 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

神經網路就像“煉丹爐”一樣，投喂大量資料，或許能獲得神奇的效果。

“煉丹”成功後，神經網路也能對沒見過的資料進行預測了~

然而，這種情況下，神經網路其實成了“黑匣子”——具有一定的功能，但看不見是怎麼起作用的。

如果只做簡單的影象分類，其實還好；但如果用在醫學方向，對疾病進行預測，那麼神經網路下的“判斷”就不可輕信。

如果能瞭解它是怎麼工作的，就更好了。

出於這種考慮，來自牛津大學的博士生Oana-Maria Camburu撰寫了畢業論文《解釋神經網路 （Explaining Deep Neural Networks）》。

在這篇論文中，她將這些“黑匣子”一個個開啟，對神經網路原理進行了詳細的解釋。

為什麼要開啟神經網路“黑匣子”？

事實上，神經網路之所以起作用，最直觀的原因就是，它由大量非線性函式組成。

這些非線性函式，使得網路可以學習原始資料中各種抽象級特徵。

然而，也正是因為神經網路中的這些非線性函式，使得人類往往難以理解，它們是如何起作用的。

這就導致神經網路在疾病預測、信用額度、刑法等方向上“不太受歡迎”。

醫生和法律相關的研究者往往更樂意採用可解釋模型，例如線性迴歸、決策樹，因為神經網路在疾病預測中的確出過問題：

人們利用神經網路預測肺炎患者的病情發展，其中一項患者特徵為是否有哮喘病史。

神經網路經過訓練後預測，有哮喘病史的患者死於肺炎的可能性較低。

但其實結果恰好相反，哮喘本身會給肺炎帶來雪上加霜的效果。

之所以資料表明哮喘患者較少死於肺炎，往往是因為哮喘能被及早發現，所以患者得肺炎後能被及早治療。

如果這種神經網路被應用於實踐中，將會帶來非常危險的結果。

此外，即使是神經網路，也會對男女性別產生刻板印象、產生種族偏見。

例如，調查表明，有些語料庫和模型，在預測再犯時，會更“偏愛”男性。

除了錯誤的預測和種族、性別歧視以外，神經網路還很脆弱。

無論是對影象進行小改動欺騙分類演算法、還是用語音識別瞞過NLP模型，神經網路被“爆雷”的情況也不少。

為了讓神經網路應用於更多的方向，也為了讓我們更好地學習它的原理，作者從兩個方向對神經網路進行了解釋。

2種方法解釋神經網路

“事後再解釋”

第一種方法，稱之為基於特徵的解釋方法，又叫“事後再解釋”——因為這種方法，是在神經網路訓練好後，才對其輸入特徵進行解釋的。

這種方法針對文字的詞（token）、或是針對影象的超畫素（super pixels），進行“事後”解釋。

目前這種方法應用較為普遍，不容易出現解釋偏見，但需要驗證解釋方法的真實性。

這裡的根本原理，是研究外部解釋方法給出的解釋、與模型本身生成的自然語言解釋之間，是否存在相關性，而相關性具體又是什麼。

在論文中，作者引入了一種新的驗證方法，來判斷解釋方法的真實性。

讓神經網路自己解釋

那麼，如果能讓神經網路一邊訓練、一邊“解釋自己”呢？

這是論文提到的第二種方法，即在模型中植入一個生成預測解釋的模組，對預測的結果進行解釋。

至於神經網路對自己的解釋是否正確，還需要人為進行判斷。

在這裡面，作者同樣引入了一種判斷方法，對模型自己生成的解釋進行判斷，從而得出神經網路解釋的結果。

對神經網路詳細結構、具體解釋方法感興趣的小夥伴，可以戳下方論文地址檢視~

作者介紹

Oana-Maria Camburu，來自羅馬尼亞，目前是牛津大學的博士生，主修機器學習、人工智慧等方向。

高中時期，Oana-Maria Camburu曾獲IMO（國際奧數競賽）銀牌。她曾經在馬普所、谷歌實習，讀博期間，論文被ACL、EMNLP、IJCNLP等頂會收錄。

論文地址：
https://arxiv.org/abs/2010.01496

— 完 —

本文系網易新聞•網易號特色內容激勵計劃簽約賬號【量子位】原創內容，未經賬號授權，禁止隨意轉載。

榜單徵集！7大獎項鎖定AI TOP企業

「2020中國人工智慧年度評選」正式啟幕！將從公司、人物、產品、社群四大維度共7個獎項尋找優秀的AI企業，歡迎大家掃碼報名參與。

榜單將於12月揭曉，也期待與百萬從業者們，共同見證這些優秀企業的榮譽！

量子位QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態

一鍵三連「分享」、「點贊」和「在看」

科技前沿進展日日相見~