講前小碎話

Logistic迴歸是一種線性分類模型，通常用來解決線性二分類或多分類問題。無論是在李航老師的《統計機器學習》書中，還是在吳恩達老師的機器學習課程中，都是先假設隨機變數x服從Logistic分佈，即有如下的分佈函式和概率密度函式：

可是為什麼定義這樣的分佈函式和概率密度函式，對於初學者來說，還是很難理解的。我們從Logistic迴歸的來源（也就是從貝葉斯學習發展來的）來理解其的基本思想，會讓人明白很多！

對數似然比假設

後驗概率：：在x條件下，事件w發生的概率。後驗概率 = 先驗概率 × 類別條件概率。對於分類問題，當屬於某一類的後驗概率最大時，判斷為該類別。

機率：

貝葉斯分類器極大似然估計：對於貝葉斯分類器來說，極大似然估計引數時的似然函式為（頻率派的做法，可以先看一下貝葉斯學習的極大似然估計法~），引數估計時對其進行最大化。

線性判別函式：對於線性分類器來說：線性判別函式是分類超平面的數學公式表示。

線性判別函式：

分類超平面：

線性判別：if   assign x to  ; if  assign x to 

對數機率似然假設：假設似然比（likelihood ratio）的對數為線性判別函式。(是先有的這個假設，才有的sigmoid函式，以及Logistic迴歸的一系列公式)。

，帶入貝葉斯公式，推導得到（注意和是不同的，應該差了一個常數倍數）。

即，計算p得：。令，得： ，即為x屬於某一類w的概率。而Logistic迴歸的。

引入sigmoid函式

在這裡就不贅述了，sigmoid函式公式：

，函式影象如下，即當計算得到的x屬於的概率大於0.5時，屬於標籤類，否則屬於類（二分類問題）。

當越大時，x離分類超平面越遠，將其判斷為這一類的概率越大，即越接近於1。

求引數的方式

最大似然估計求引數

求引數，可採用最大似然估計法求解。

對數似然： 

 求取的最大值，即為求的最小值，可以採用梯度下降法求解。

定義Cost function

在吳恩達老師的機器學習課程中，是這樣引入Logisti迴歸的cost fnction的：

線上性迴歸中，我們常用的損失函式為平方損失函式，即：

，則總損失：

此時的為一非凸函式，無法採用梯度下降的方法求得最優解，因此採用另一種cost function:

注意：該cost function是從最大似然估計法得來的！

此時計算得到的如下：

，為凸函式，可以通過梯度下降方法求得最小值。函式圖如下：

梯度下降求引數

在這裡就不詳細推導了，具體可以看梯度下降的相關知識~

參考文獻

【1】周志華，機器學習，清華大學出版社，2016.

【2】中國科學院大學《機器學習》課程課件, Chapter3 Liner Classification.