神經網絡之模塊化視角(二)
我很佩服你的計算方法的優雅; 在真正數學的馬匹上穿越這些領域一定很好，而我們這樣的人必須徒勞無功地走上這條路。- 艾爾伯特愛因斯坦
卷積神經網絡的結果
??早些時候，我們提到最近使用卷積神經網絡的計算機視覺突破。在我們繼續之前，我想簡要地討論一下這些結果作為動機。
?他們的進步是將一堆不同的部分組合在一起的結果。他們使用GPU來訓練一個非常大的深度神經網絡。他們使用了一種新的神經元（ReLUs）和一種新技術來減少一種叫做“過度擬合”的問題（DropOut）。他們使用了一個包含大量圖像類別的非常大的數據集（ImageNet）。當然，它是一個卷積神經網絡。
??他們的建築如下圖所示，非常深刻。它有5個卷積層，有散布的池，以及3個完全連接的層。早期層分為兩個GPU。
??他們訓練他們的網絡將圖像分為千種不同的類別。
??隨機猜測，0.1％的時間會猜出正確的答案。Krizhevsky，et al。該模型能夠在63％的時間內給出正確的答案。此外，它給出的前5個答案中的一個是正確的85％的時間！
????上：4個正確分類的例子。下圖：4個錯誤分類的例子。每個示例都有一個圖像，後跟其標簽，然後是具有概率的前5個猜測。來自Krizehvsky 等人
??甚至它的一些錯誤對我來說似乎也很合理！我們還可以檢查網絡的第一層學習要做什麽。
??回想一下，卷積層在兩個GPU之間分開。信息不會在每一層上來回傳遞，因此拆分側以實際方式斷開連接。事實證明，每次模型運行時，雙方都會專註。
??由第一個卷積層學習的過濾器。上半部分對應於一個GPU上的層，底部對應於另一個GPU上的層。
??一側的神經元聚焦於黑色和白色，學習檢測不同方向和大小的邊緣。另一側的神經元專註於顏色和紋理，檢測顏色對比和圖案。4請記住，神經元是隨機初始化的。沒有人去做它們是邊緣探測器，或者以這種方式分裂。它只是通過訓練網絡來分類圖像而產生的。
??這些顯著的成果（以及當時的其他令人興奮的結果）僅僅是開始。他們很快就接著進行了許多其他測試改進方法的工作，並逐步改進結果，或將其應用於其他領域。並且，除了神經網絡社區之外，計算機視覺社區中的許多人都采用了深度卷積神經網絡。
??卷積神經網絡是計算機視覺和現代模式識別中的重要工具。
形式化卷積神經網絡
考慮具有輸入{\(x_{n}\)}並輸出{\(y_{n}\)}：
- 根據輸入描述輸出相對容易：
| \(y_{n} = A(x_{n},x_{n+},...)\) |
:-:|
- 例如：
|\(y_{0} = A(x_{0},x_{1})\) |
:-:|
| \(y_{1} = A(x_{1},x_{2})\) |
:-:|
類似地，如果我們考慮一個二維卷積層，輸入{\(x_{n,m}\)}並輸出{\(y_{n,m}\)}
我們可以再次根據輸入記錄輸出：
| 
|
:-:|
- 例如：
| 
|
:-:|
如果將其與\(A(x)\)的等式組合
| \(A(x) =\sigma(W_{X} + )\) |
:-:|
??一個人擁有實現卷積神經網絡所需的一切，至少在理論上是如此。
??在實踐中，這通常不是考慮卷積神經網絡的最佳方式。根據稱為卷積的數學運算，有一種替代的公式，通常更有幫助。
??卷積運算是一個強大的工具。在數學中，它出現在不同的語境中，從偏微分方程的研究到概率論。部分由於其在偏微分方程中的作用，卷積在物理科學中非常重要。它在許多應用領域也具有重要作用，如計算機圖形和信號處理。
??對我們來說，卷積將帶來許多好處。首先，它將允許我們創建比天真的觀點所暗示的更有效的卷積層實現。其次，它將從我們的配方中消除很多混亂，處理目前在x的索引中出現的所有簿記s - 目前的表述可能看起來並不淩亂，但這只是因為我們還沒有陷入棘手的情況。最後，卷積將為卷積層的推理提供一個截然不同的視角。
註：本文系翻譯
神經網絡之模塊化視角(二)