1. 程式人生 > >吳恩達機器學習(第五章)--特徵縮放和學習率

吳恩達機器學習(第五章)--特徵縮放和學習率

一、特徵縮放 

h(x)=\theta_0x_0+\theta_1x_1+...+\theta_nx_n----(1)

對於我們假設的式子(1),可能存在這樣一種情況就是有些資料遠大於另一些資料(eg:x_1>>x_2)

比如房子價格的例子:

房子的面積要遠大於房子的層數和房間數。在這種情況下可以看下圖,所產生的等高線的圈會很窄,在做梯度下降的時候需要做很多次(紅箭頭)。

這種情況下我們就可以進行特徵縮放,將各類資料縮放在同一範圍內。從而得到下圖。

特徵縮放的方法:我們可以除以每一種型別的自身的平均值。也可以時其他特定的數,只要能使他們在一定的範圍內就行,而這個範圍也不是固定的,可以時[-1,1],也可以是[0,3]等等,只要不是太大,比如[-100,100]就不好

 

向上圖就會收斂的更快一些。 

二、學習率

學習率其實就是在梯度下降時候的α,α太小則收斂太慢,耗費時間,α太大則有可能永遠無法收斂(如下圖)