邏輯迴歸簡介

邏輯迴歸（Logistic Regression）是機器學習中的一種二分類模型（主要為二分類應用，Softmax 迴歸是直接對邏輯迴歸在多分類的推廣，即多元邏輯迴歸），由於演算法的簡單和高效，在實際中應用非常廣泛。

• 主要用途：

  1. 尋找危險因素：什麼樣的使用者通常會是“bad”使用者？
  2. 預測判別：使用者是 “good”還是“bad”? 多大的概率是好使用者，多大的概率是差使用者？

• 二分類問題及應用：

  1. 獲客評估：判斷使用者是否會成為平臺客戶；
  2. 交易評估：判斷使用者申請貸款時是否能通過；
  3. 風險評估：判斷使用者還款時是否會預期；
  4. 客戶留存：判斷使用者是否會流失；
  5. 客戶價值：判斷使用者是否能產生預期的價值；
  6. 使用者畫像：判斷使用者是否具備某一屬性（如性別、品類偏好等）

這些問題都可以看成是二分類問題，這些問題本身有很重要的價值，能夠幫助我們更好的瞭解我們的使用者，服務我們的使用者。

邏輯迴歸的適用性

1） 可用於概率預測，也可用於分類。
2） 僅能用於線性問題
只有在feature和target是線性關係時，才能用Logistic Regression（不像SVM那樣可以應對非線性問題）。這有兩點指導意義，一方面當預先知道模型非線性時，果斷不使用Logistic Regression； 另一方面，在使用Logistic Regression時注意選擇和target呈線性關係的feature。
3） 各feature之間不需要滿足條件獨立假設，但各個feature的貢獻是獨立計算的。
邏輯迴歸不像樸素貝葉斯一樣需要滿足條件獨立假設（因為它沒有求後驗概率）。但每個feature的貢獻是獨立計算的，即LR是不會自動幫你combine 不同的features產生新feature的 (這是決策樹,LSA, pLSA, LDA或者你自己要乾的事情)。舉個例子，如果你需要TF*IDF這樣的feature，就必須明確的給出來，若僅僅分別給出兩維 TF 和 IDF 是不夠的，那樣只會得到類似 a*TF + b*IDF 的結果，而不會有 c*TF*IDF 的效果。

邏輯迴歸一般過程

• 收集資料：主要是根據業務目標收集相關的資料，模型效果往往和所用特徵密切相關
• 準備資料：因為需要進行距離計算，因而要求資料型別為數值型。另外，結構化資料格式最佳
• 分析資料：分析並進行資料的預處理
• 訓練演算法：大部分時間將用於訓練，目的是為了找到最佳的分類係數
  
  1. 尋找h函式（即hypothesis）；
  2. 構造J函式（損失函式）；
  3. 想辦法使得J函式最小並求得迴歸引數（θ）
• 測試演算法：模型評估
• 使用演算法：獲取新資料，轉化成對應的結構化數值，基於訓練好的迴歸係數就可以對這些數值進行簡單的迴歸計算，判定新資料屬於哪個類別；在這之後，可以在輸出的類別上做一些其他分析工作

邏輯迴歸的關鍵概念

• sigmod函式（hypothesis）
  1.數學形式：
  g(x)=11+e−x

2.邏輯迴歸的sigmod函式

• 最優化理論（損失函式）
  1.介紹：邏輯迴歸的優化目標函式：
  ①LR輸出的是分到每一類的概率，則引數估計的方法為最大似然估計 (MLE) 。
  ②假設訓練的每個樣本獨立，輸出為 y = {0, 1}，樣本的似然函式就是將所有訓練樣本 label 對應的輸出節點上的概率相乘, 令 p = P(Y=1|x) ,如果 y = 1, 概率就是 p， 如果 y = 0, 概率就是 1 - p , 將這兩種情況合二為一，得到似然函式：
  

  ∏[P(Y=1|xi)yi][1−P(Y=1|xi)1−yi]
  對應的似然函式如下：
  L(w)=∑[yi(w∗xi)−ln(1+exp(w∗xi))]

  3.難點：全域性最優VS區域性最優

• 梯度上升/梯度下降最優化演算法：（通常採用梯度下降最優化演算法）
  這裡主要介紹兩種梯度優化演算法，其中批量梯度優化演算法每一次迭代需要掃描所有的樣本資料；隨機梯度下降法每一次迭代只需要考慮一個樣本即可。明顯的，隨機梯度優化演算法在計算消耗上由於批量梯度優化演算法，但是可能實際的求取最優值得效果比不上批量梯度優化演算法。對於凸函式，隨機梯度下降演算法最終的結果與批量梯度優化演算法差不多。
  目標函式：J(w)=−1nL(w)
  批量梯度下降法：
  wi=wi−∑α∂∂wJ(w)
  隨機梯度下降法：
  for j=1 to m {
  wi=wi−∑α∂∂wJ(w)
  (for all i)
  }

• 正則化

  1. 過擬合問題：邏輯迴歸的過擬合問題主要是特徵太多造成的，一般不存在過擬合問題，特徵過多可以採取正規化的方式加以解決

  2. 解決方法

• 多分類：
  可以利用邏輯迴歸進行多分類，與上述二分類邏輯迴歸的主要區別在於假設函式，上述為sigmod函式，多分類問題可以採用softmax函式進行對映。

• 總結

邏輯迴歸的優點：
1）實現簡單，對因變數的分佈沒有要求；
2）對構建的模型有較強的解釋性；
3）可以適用於連續性（特徵離散化處理）和類別性自變數；
4）分類時計算量小，速度快，儲存資源低

邏輯迴歸的不足：
1）處理海量、多維、非線性的資料時效果不是很好；
2）演算法的範化能力、靈活性比較差；
3）演算法處理資料的不對稱性問題能力不足；
4）容易欠擬合，一般準確度不太高

邏輯迴歸的數學模型和求解都相對比較簡潔，實現相對簡單。通過對特徵做離散化和其他對映，邏輯迴歸也可以處理非線性問題，是一個非常強大的分類器。因此在實際應用中，當我們能夠拿到許多低層次的特徵時，可以考慮使用邏輯迴歸來解決我們的問題。