1. 程式人生 > >邏輯迴歸(含推導)

邏輯迴歸(含推導)

邏輯迴歸(logistic)

1、L就是用sigmod函式

2、損失函式為:

邏輯迴歸的損失函式與線性迴歸相似,就是多了sigmoid函式,將概率對映到0-1之間。

再用極大似然思想,將L(θ)函式最大化。

 

然後梯度上升,將函式達到最大化

與吳恩達版本不同的是前面多一個負號,把上升變成我們熟悉的梯度下降。

 

那麼邏輯迴歸的優缺點:

 

那麼我們遇到多分類怎麼辦,我們可以選擇softmax迴歸:

我們可以通過softmat的公式求出每一個分類的概率,然後取它最大概率的為它的分類結果。