文章目錄

• • 邏輯迴歸
  • **邏輯迴歸重新定義代價函式**
  • • • 為什麼不用平方損失函式？
      • 用極大似然估計的方法
      • 總結一下
      • 演算法：對Jθ求導，
    • 推薦博文

邏輯迴歸

公式：

用g(x)表示z

物理意義：對於輸入x，輸出為y=1的可能性

從函式的值的角度：
在這裡插入圖片描述

注：這裡閾值可以調

邏輯迴歸重新定義代價函式

線性迴歸的代價函式為 :

代入到平方代價函式的時候 ,我們得到的代價函式將是一個非凸函式 (non-convexfunction) :

這將嚴重影響梯度下降演算法尋找全域性最小值

所以考慮到 Sigmoid 函式的形式 , 我們放棄使用平方代價函式 , 使用這種代價函式 :

為什麼不用平方損失函式？

也可以用平方損失，但是會在h(wx)接近0和1的地方梯度很小，不容易學習，你可以試著用平方損失進行梯度下降，就會發現了，tips：會用到dh/dw=h*(1-h)。

用極大似然估計的方法

原因：極大似然估計在原有的概率函式上以log為底，1.不改變概率函式的分佈 2.增函式，求到之後取y=0的x值，得到最大值

對於y=1時，即cost=-log(hx), 若hx也=1，則代價函式=0；反之無窮大

對於 -log(1= h(x)) 也是同理 :

總結一下

損失函式：

這裡說一下，函式的形態仍為凹函式

求當代價函式最小時的θ

演算法：對Jθ求導，

與線性迴歸的式子作比較：

好像長一樣耶

但是這裡的 : 與線性迴歸中不同，所以實際上是不一樣的 .

邏輯迴歸中：

線性迴歸中：

推薦博文

知乎專欄：邏輯迴歸