哈佛大學和 MIT 的物理研究者日前在 arXiv.org 發文，提出深度學習的成功不僅關乎數學，也離不開物理。他們在論文中指出，引數有限的神經網路之所以能夠分析有無數種可能的複雜問題，是因為宇宙中所有事物都能由一組性質簡單的函式表示。此外，宇宙具有層次結構，而神經網路中的層能夠將每一步近似為因果序列。因此，現實世界問題非常適於神經網路建模。這一假說如果正確，不僅揭示了深度學習如此有用的原因，還能說明人類大腦為何擅長分析複雜問題，有助於加速人工智慧發展。

　　過去幾年，深度學習技術轉變了人工智慧世界。那些一度被視為只有人類才能夠做到的事情，一項一項地被機器斬獲。深度神經網路現在比人類更擅於識別人臉、識別物體，在古老的技藝圍棋上更是把人打得落花流水。

　　但有一個問題。為什麼層層堆疊起來的網路能夠解決這麼多的複雜問題，還沒有人講得出數學上的道理。儘管深度神經網路取得了巨大的成功，但是沒有人知道它們是如何做到這一點的。

　　不過，哈佛大學的 Henry Lin 和 MIT 的 Max Tegmark 給出了轉機。他們認為數學家之所以狼狽不堪，是因為事情的關鍵在於世界萬物運作的道理——宇宙的本質。換句話說，答案在物理而非數學裡。

　　首先，我們假設要將幾兆的灰度影象分類，判斷該影象是一隻貓還是一隻狗。

　　這樣一幅圖片含有幾百萬畫素，每一個畫素都有 256 個灰度值。因此，從理論上說，一共有 256^1000000 種可能的影象，每一種都需要計算是否組成了貓或狗。而神經網路只有幾萬或幾百萬的引數，卻不知怎的能夠很輕鬆地完成這項分類的任務。

　　用數學的語言講，神經網路的工作方式是用較為簡單的函式逼近複雜的函式。當要分類貓或狗的影象時，神經網路必須實現一個函式，這個函式將一百萬的灰度畫素作為輸入，輸出它可能代表的圖案的概率分佈。

　　問題是，數學函式的數量相比用於逼近它們的可能的網路的數量，多了好幾個量級。但儘管如此，深度神經網路仍然能夠得到正確答案。

　　現在 Lin 和 Tegmark 表示他們已經知道了原因。答案是宇宙由為數不多的一組函式所掌控。換句話說，如果用數學式子表示物理定律，那麼所有事物都能由一組性質簡單的函式所表示。

　　舉例來說，多項式函式 f(x)=x2，二次方程 y=x2 指數為 2，而 y=x^24，指數為 24，以此類推。

　　很顯然，指數的數量是有限的，物理定律中也只出現了有限的多項式。“目前還不清楚原因，但是我們的宇宙能被低階的漢密爾頓多項式準確地描述。”Lin 和 Tegmark 說。通常而言，物理定律的多項式，指數都在 2 到 4 之間。

　　物理定律還有其他的重要性質。舉例來說，與旋轉和位移有關的物理定律通常是對稱的。旋轉一隻貓或一隻狗 360°，這隻貓或狗看起來與原來是一樣的；將一隻貓或狗位移 10 米、100 米或 1000 米，這隻貓或狗跟原來相比，看起來還是一樣的。這一點也為識別貓狗帶來了便利。

　　這些性質表明，神經網路不需要逼近幾近無限的數學函式，而只需要逼近其中最簡單的一組就可以了。

　　還有一種性質也為神經網路所用。那就是宇宙結構具有層次。“基本粒子形成原子，原子又形成分子、細胞、器官、行星、太陽系、銀河系等等，”Lin 和 Tegmark 表示。此外，複雜結構也往往是由一系列簡單的步驟生成。

　　這也是為什麼說神經網路結構具有重要性：這些網路中的層能夠將每一步近似為因果序列。

　　Lin 和 Tegmark 以宇宙微波背景輻射為例，近年來，有很多不同的空間飛行器都以很高的解析度描繪了這種輻射，而物理學家也為這些影象為什麼會具有這種形式而感到疑惑不解。

　　Lin 和 Tegmark 指出，不管原因為何，無疑宇宙微波背景輻射是一個因果層次的結果。“一套宇宙學引數（比如暗物質的密度）決定了我們宇宙密度波動的功率譜，而這又決定了我們接收到的早期宇宙微波背景輻射的模式，這些模式與來自銀河系的前景無線電波干擾相結合，產生一個能被衛星望遠鏡記錄下來的頻率天圖。”他們說。

　　每一個因果層都比上一層含有更多的資訊。雖然宇宙引數是有限的，但是天圖和干擾卻含有幾十億的數字。物理學的目標是分析這些大數字，讓它們揭示出較小一些的數字。

　　而當現象具有這種層次結構時，神經網路就能大幅提高分析效率。

　　“我們證明了深度廉價學習（deep and cheap learning）不僅依賴於數學，還取決於物理，物理學中一些常見的極為簡單的概率分佈非常適於神經網路建模。”Lin 和 Tegmark 得出這樣的結論。

　　這是一項十分重要而又十分有趣的研究。人工神經網路受生物神經網路啟發而來，因此Lin 和Tegmark 的假說不僅解釋了深度學習為什麼如此有用，還說明了人類大腦理解宇宙的原因。演化不知怎地形成了一種分析宇宙奧妙理想的人腦結構。

　　這一結果為人工智慧研究打開了一扇門。現在，我們終於明白了深度神經網路為何有用，而且數學家也能著手研究是什麼數學性質讓深度神經網路這麼有用。“加深對深度學習分析理解能力的認知，能夠進一步提升深度學習。”Lin 和 Tegmark 表示。

　　深度學習近年來取得了飛速發展。有了這一新的理解，該領域的發展速度勢必變得更快。

　　編譯來源：

　　The Extraordinary Link Between Deep Neural Networks and the Nature of the Universe