吳恩達機器學習(6) 多元梯度下降法
阿新 • • 發佈:2022-03-05
1. 多引數模型
存在多個引數,模型更加複雜,在求梯度下降時需要對每個引數求偏導數,再同時更新引數
2, 特徵縮放
不同的特徵值的數值範圍不同,如下圖所示,將特徵值視覺化後,將形成一個細長的橢圓。而在梯度下降過程中,將可能需要花費長時間、並可能進行波動才能收斂。
為了解決這個問題,可以採用歸一化的思路,使其代價函式視覺化效果解決於圓形,使特徵值範圍在-1~1之間。吳老師對於-3~3,-1/3~1/3都是可以接受的
3. 均值歸一化
也是預處理中經常採用的一種特徵縮放的方法
4. 學習率
吳老師經驗:
(1)畫出梯度下降時,代價函式的數值,確保梯度下降起作用了
(2)對於不同的問題,梯度下降所需的迭代步數、需要的時間都不同,
(3)另外也可以通過一個自動化收斂測試方法檢測收斂情況,但是確定一個收斂的閾值並不容易
(4) 如果不收斂,採用更小的學習率
(5)以三的倍數進行多次嘗試