1. 程式人生 > >先進的優化

先進的優化

測試 對象 選項 而是 優化 事先 logs cnblogs 評價

“共軛梯度”、“BFGS”、和“L-BFGS”更成熟,更快的方法來優化θ可以用來代替梯度下降。我們建議您不要自己編寫這些更復雜的算法(除非您是數字計算方面的專家),而是使用庫,因為它們已經經過測試並高度優化。octave提供它們。

我們首先需要一個函數來評價下面的兩個函數為了輸入θ:

技術分享

我們可以編寫一個返回這兩個函數的函數:

技術分享

然後我們可以用octave的“fminunc()”算法和“optimset()”功能,創建一個對象包含的選項,我們想把“fminunc()”。

技術分享

我們給函數”fminunc()”我們的成本函數,我們的θ值的初始向量,和“選擇”的對象,我們事先創建

先進的優化