本文是在學習完李航老師的《統計學習方法》後，在網上又學習了幾篇關於LR的部落格，算是對LR各個基礎方面的一個回顧和總結。

一 簡述

  邏輯斯蒂迴歸是一種對數線性模型。經典的邏輯斯蒂迴歸模型（LR）可以用來解決二分類問題，但是它輸出的並不是確切類別，而是一個概率。

  在分析LR原理之前，先分析一下線性迴歸。線性迴歸能將輸入資料通過對各個維度的特徵分配不同的權重來進行表徵，使得所有特徵協同作出最後的決策。但是，這種表徵方式是對模型的一個擬合結果，不能直接用於分類。

  在LR中，將線性迴歸的結果通過sigmod函式對映到0到1之間，對映的結果剛好可以看做是資料樣本點屬於某一類的概率，如果結果越接近

二 原理

    2.1sigmoid函式

sigmoid函式形式為，分佈如下圖所示：

     2.2 LR迴歸模型

    二項邏輯斯蒂迴歸模型由條件概率分佈P(Y|X)表示，隨機變數X取值為實數，隨機變數Y取值為1或0。模型的條件概率分佈

    在進行分類時，通過比較上面兩式的大小來將輸入例項分配到概率值大的那一類。

    也就是說，LR將輸入例項x

2.3  多項LR迴歸模型

LR模型也可以推廣到解決多分類問題，模型如下：

       2.4模型引數估計

         LR的引數估計使用最大似然估計。LR損失函式為對數損失函式，所以這裡最大似然估計可以理解為損失函式為對數損失函式的經驗風險最小化。

   若假設，

   那麼似然函式為 

   求解最大似然函式，對上式取對數後求解最大。

   在解這個最優化問題的時候，若是直接求取解析解會使計算非常複雜，通常採用近似方法如梯度上升法和擬牛頓法。其中梯度上升法可能導致計算量太大，於是用隨機梯度上升法代替；牛頓法或擬牛頓法一般收斂速度更快。

      2.5 損失函式

LR損失函式為對數損失函式。對數損失函式的定義是

   在引數模型估計中的對數似然函式極大化即對應著損失函式極小化。

   在Andrew Ng的課程中將損失函式定義為（這裡符號取w以保證本文的符號統一）。

   與2.4部分統一後，LR損失函式可以表示為

   使用梯度下降法使損失函式極小化，每一步的迭代公式為

   在推導前，由上文，

   需要知道對於siamoid函式有如下求導性質

   那麼在權值w的更新過程中，推導如下：

    基於此，迭代公式為 

三 LR的應用和優缺點

         LR是解決工業規模問題最流行的演算法。在工業應用上，如果需要分類的資料擁有很多有意義的特徵，每個特徵都對最後的分類結果有或多或少的影響，那麼最簡單最有效的辦法就是將這些特徵線性加權，一起參與到決策過程中。比如預測廣告的點選率，從原始資料集中篩選出符合某種要求的有用的子資料集等等。

   優點：1）適合需要得到一個分類概率的場景。2）計算代價不高，容易理解實現。LR在時間和記憶體需求上相當高效。它可以應用於分散式資料，並且還有線上演算法實現，用較少的資源處理大型資料。3）LR對於資料中小噪聲的魯棒性很好，並且不會受到輕微的多重共線性的特別影響。（嚴重的多重共線性則可以使用邏輯迴歸結合L2正則化來解決，但是若要得到一個簡約模型，L2正則化並不是最好的選擇，因為它建立的模型涵蓋了全部的特徵。）

   缺點：1）容易欠擬合，分類精度不高。2）資料特徵有缺失或者特徵空間很大時表現效果並不好。

四 與其他演算法比較

與SVM比較

   線性迴歸做分類因為考慮了所有樣本點到分類決策面的距離，所以在兩類資料分佈不均勻的時候將導致誤差非常大；LR和SVM克服了這個缺點，其中LR將所有資料採用sigmod函式進行了非線性對映，使得遠離分類決策面的資料作用減弱；SVM直接去掉了遠離分類決策面的資料，只考慮支援向量的影響。

   但是對於這兩種演算法來說，線上性分類情況下，如果異常點較多無法剔除的話，LR中每個樣本都是有貢獻的，最大似然後會自動壓制異常的貢獻；SVM+軟間隔對異常比較敏感，因為其訓練只需要支援向量，有效樣本本來就不高，一旦被幹擾，預測結果難以預料。

參考：

李航《統計學習方法》

http://www.jianshu.com/p/95e5faa3f709

http://www.tuicool.com/articles/uiMjyuu