前言

當你進入深度學習領域，準備好深度神經網路，開始進行訓練時，遇到這樣一個大部分新手都會遇到的問題：你的神經網路沒法正常工作，而你不知道該如何去修正它。你去問你的老闆或者導師，他們也不知道該如何處理，因為在深度神經網路面前，他們和你一樣也是新手。那麼現在該如何來處理呢？
幸運的是我來啦！我列出了幾乎所有新手都會犯的錯誤，以及我自己和身邊一些學生在同樣情況下遇到過的問題：

1. 沒有對資料進行標準化處理（Normalize）
2. 沒有檢查結果（Results）
3. 沒有對資料進行預處理（Preprocess）
4. 沒有使用正則化方法（Regularlization）
5. Batch Size 取值過大
6. 學習率（Learning Rate）設定有誤
7. 最後一層 Layer 使用了錯誤的啟用函式（Activation Function）
8. 網路結構中包含了有害的梯度（Bad Gradient）
9. 初始化網路權重（Network Weights）有誤
10. 神經網路結構過深（Too Deep）
11. 使用了錯誤數目的隱藏單元（Hidden Units）

資料標準化處理（Normalize）

What？

當使用神經網路進行訓練時，一個很重要的思考就是該怎樣對輸入資料進行標準化。這是不容質疑的一步，如果你沒有正確仔細的去做這件事，神經網路就可能無法正常執行。並且由於這一步比較重要，在深度學習領域已經預設為大家都知道，而在論文中很少提及，所以幾乎總是成為初學者無法理解的障礙。（譯者注：此處的 Normalize 原先翻譯為“歸一化”，後來在翻譯了整篇文章之後改為“標準化”，因為從操作方法來看並不是使用 sigmoid 類似函式對特徵值進行歸一化處理，而是對原始資料集進行減去平均值處理，一個例子就是在RGB影象卷積神經網路應用部分，原始RGB畫素值要減去均值再做後續處理

How？

一般來說，標準化意味著：從資料中減去平均值，然後將資料除以標準偏差。通常，這是針對每個輸入和輸出功能單獨完成，但可能需要經常對特徵資料集進行標準化處理，或者對某些特徵進行標準化處理時要特別小心。

Why？

標準化的最主要原因是，絕大多數神經網路的處理過程都假設輸入資料和輸出資料分佈平均值約為0，標準偏差約為1。像標準化這種假設深度學習文章中隨處可見，類似的包括像權重初始化，啟用函式，訓練網路的優化演算法等。

And？

一個未經訓練的網路的輸出值通常介於[-1， 1]。如果你想讓網路的輸出介於其他某個範圍（例如以位元組形式儲存的RGB影象範圍介於[0, 255]），那麼就會出現其他的一些問題。當開始進行訓練時，網路就會變得極其不穩定。假如網路的輸出值介於[-1, 1]之間，而期望值是255時，大部分訓練網路的尋優演算法（optimization algorithms）就會認為這是一個很大誤差（error）。這會計算得到很大的梯度值，同樣的訓練誤差就會發散（explode）。假如網路誤差並沒有發散，那麼網路的前面幾層結構也會是一種浪費，因為網路首先要學習怎樣將輸出值縮放並將其轉換為到所需的大致範圍。但是，當你對資料進行了標準化（在上述例子中，只需簡單用128/1）之後，這些問題都不復存在。
一般來說，神經網路中的特徵尺度（scale of featuer）也將決定它們的重要性。如果網路的輸出一個較大尺寸的特徵，那麼它與其他特徵相比就會有更大的誤差。同樣地，在輸入中有較大尺寸的特徵將會使其對網路引數有較大影響，並且類似於蝴蝶效應，對下游引起更大變化。由於這個原因，很多神經網路庫的自動標準化功能並不一定滿足特定任務要求，因為它們處理方式是在每個特徵的基礎上盲目地減去均值和除以標準差。比如，當你的資料有一個特徵範圍介於[0.0, 0.001]之間——可能由於它並不是一個重要的特徵，所以範圍很小（這種情況下，你就可能並不想重新縮放它），或者因為它有一些與其他特徵相比較小的單位？同樣，要謹慎對待範圍很小的特徵，因為它們的標準偏差（standard deviation）接近或者等於0—如果對它們進行標準化就會產生NaNs（not a number）等不穩定的元素。仔細地對這些問題進行思考是很有必要的：思考每個特徵（feature）代表了什麼，考慮把所有輸入特徵標準化為單位相等作為預處理過程。
我相信這是深度學習過程中真正需要使用者（human）介入的地方。