1. 程式人生 > >邏輯迴歸的成本函式

邏輯迴歸的成本函式



注,本文是在學習吳恩達老師(Andrew Ng)網易公開課課程的的學習總結和理解,希望與君共勉!

1.在邏輯迴歸數學模型那篇博文中我們提到,當你做Logistic Regression的時候,在x和y為已知的情況下(比如是貓還是非貓),學習得到引數w和b,使得y帽儘可能的接近y。

2. 為了表達y帽儘可能的接近y,我們需要定義個lost 函式,我們可以定義lost函式為


但是這個函式由於是區域性收斂的,滿足不了梯度下降演算法。

3. 為此我們需要從新定義一個下面這樣的函式,這個函式是全域性收斂的。


4. Cost函式的定義為整個訓練集上lost函式和的平均。


5. 有了lost函式來表達y帽接近y的程度,越接近lost函式的值越小,當兩個相等時,lost函式的值為0.

於是邏輯迴歸的本質就可轉化為:在x和y為已知的情況下(比如是貓還是非貓),學習得到引數w和b使得Cost函式的取值儘可能的小。