歸一化輸入（Normalizing inputs）
阿新 • • 發佈：2021-07-25
訓練神經網路，其中一個加速訓練的方法就是歸一化輸入，歸一化需要兩個步驟：（1）零均值u；（2）歸一化方差σ2。
第一步是零均值化，，它是一個向量，x等於每個訓練資料 x減去u，意思是移動訓練集，直到它完成零均值化。
第二步是歸一化方差，注意特徵x1的方差比特徵x2的方差要大得多，我們要做的是給σ賦值，，σ2是一個向量，它的每個特徵都有方差，注意，我們已經完成零值均化，(x(i))2元素y2就是方差。
u和σ2是由訓練集資料計算得來的。
如左上圖所示，這是一個非常細長狹窄的代價函式，，如果你在上圖這樣的代價函式上執行梯度下降法，你必須使用一個非常小的學習率，因為如果是在這個位置，梯度下降法可能需要多次迭代過程，直到最後找到最小值。但如果函式是一個更圓的球形輪廓，那麼不論從哪個位置開始，梯度下降法都能夠更直接地找到最小值，你可以在梯度下降法中使用較大步長，而不需要像在左圖中那樣反覆執行。
本文來自部落格園，作者：zhang-X，轉載請註明原文連結：https://www.cnblogs.com/YY-zhang/p/15057923.html