1. 程式人生 > 其它 >吳恩達機器學習(6) 多元梯度下降法

吳恩達機器學習(6) 多元梯度下降法

1. 多引數模型

  存在多個引數,模型更加複雜,在求梯度下降時需要對每個引數求偏導數,再同時更新引數

2, 特徵縮放

  不同的特徵值的數值範圍不同,如下圖所示,將特徵值視覺化後,將形成一個細長的橢圓。而在梯度下降過程中,將可能需要花費長時間、並可能進行波動才能收斂。

為了解決這個問題,可以採用歸一化的思路,使其代價函式視覺化效果解決於圓形,使特徵值範圍在-1~1之間。吳老師對於-3~3,-1/3~1/3都是可以接受的

3. 均值歸一化

  也是預處理中經常採用的一種特徵縮放的方法

4. 學習率

吳老師經驗:

(1)畫出梯度下降時,代價函式的數值,確保梯度下降起作用了

(2)對於不同的問題,梯度下降所需的迭代步數、需要的時間都不同,

(3)另外也可以通過一個自動化收斂測試方法檢測收斂情況,但是確定一個收斂的閾值並不容易

(4) 如果不收斂,採用更小的學習率

(5)以三的倍數進行多次嘗試