方法與參數

LogisticRegression類的各項參數的含義

class sklearn.linear_model.LogisticRegression(penalty=‘l2‘, 
          dual=False, tol=0.0001, C=1.0, fit_intercept=True, 
          intercept_scaling=1, class_weight=None, 
          random_state=None, solver=‘liblinear‘, max_iter=100, 
          multi_class=‘ovr‘, verbose=0, warm_start=False, n_jobs=1)
 

• penalty=‘l2‘ : 字符串‘l1’或‘l2’,默認‘l2’。
  • 用來指定懲罰的基準（正則化參數）。只有‘l2’支持‘newton-cg’、‘sag’和‘lbfgs’這三種算法。
  • 如果選擇‘l2’，solver參數可以選擇‘liblinear’、‘newton-cg’、‘sag’和‘lbfgs’這四種算法；如果選擇‘l1’的話就只能用‘liblinear’算法。
• dual=False : 對偶或者原始方法。Dual只適用於正則化相為l2的‘liblinear’的情況，通常樣本數大於特征數的情況下，默認為False。
• C=1.0 : C為正則化系數λ的倒數，必須為正數，默認為1。和SVM中的C一樣，值越小，代表正則化越強。
• fit_intercept=True : 是否存在截距，默認存在。
• intercept_scaling=1 : 僅在正則化項為‘liblinear’，且fit_intercept設置為True時有用。
• solver=‘liblinear‘ : solver參數決定了我們對邏輯回歸損失函數的優化方法，有四種算法可以選擇。
  • a) liblinear：使用了開源的liblinear庫實現，內部使用了坐標軸下降法來叠代優化損失函數。
  • b) lbfgs：擬牛頓法的一種，利用損失函數二階導數矩陣即海森矩陣來叠代優化損失函數。
  • c) newton-cg：也是牛頓法家族的一種，利用損失函數二階導數矩陣即海森矩陣來叠代優化損失函數。
  • d) sag：即隨機平均梯度下降，是梯度下降法的變種，和普通梯度下降法的區別是每次叠代僅僅用一部分的樣本來計算梯度，適合於樣本數據多的時候。

從上面的描述可以看出，newton-cg、lbfgs和sag這三種優化算法時都需要損失函數的一階或者二階連續導數，因此不能用於沒有連續導數的L1正則化，只能用於L2正則化。而liblinear通吃L1正則化和L2正則化。
同時，sag每次僅僅使用了部分樣本進行梯度叠代，所以當樣本量少的時候不要選擇它，而如果樣本量非常大，比如大於10萬，sag是第一選擇。但是sag不能用於L1正則化，所以當你有大量的樣本，又需要L1正則化的話就要自己做取舍了。要麽通過對樣本采樣來降低樣本量，要麽回到L2正則化。
但是liblinear也有自己的弱點！我們知道，邏輯回歸有二元邏輯回歸和多元邏輯回歸。對於多元邏輯回歸常見的有one-vs-rest(OvR)和many-vs-many(MvM)兩種。而MvM一般比OvR分類相對準確一些。而liblinear只支持OvR，不支持MvM，這樣如果我們需要相對精確的多元邏輯回歸時，就不能選擇liblinear了。也意味著如果我們需要相對精確的多元邏輯回歸不能使用L1正則化了。

總結：

正則化	算法	適用場景
L1	liblinear	liblinear適用於小數據集；如果選擇L2正則化發現還是過擬合，即預測效果差的時候，就可以考慮L1正則化；如果模型的特征非常多，希望一些不重要的特征系數歸零，從而讓模型系數稀疏化的話，也可以使用L1正則化。
L2	liblinear	libniear只支持多元邏輯回歸的OvR，不支持MvM，但MVM相對精確。
L2	lbfgs/newton-cg/sag	較大數據集，支持one-vs-rest(OvR)和many-vs-many(MvM)兩種多元邏輯回歸。
L2	sag	如果樣本量非常大，比如大於10萬，sag是第一選擇；但不能用於L1正則化。

來源：http://jishu.y5y.com.cn/cherdw/article/details/54891073

• multi_class=‘ovr‘ : 分類方式。官網有個對比兩種分類方式的例子：鏈接地址。
  • ovr即one-vs-rest(OvR)，multinomial是many-vs-many(MvM)。如果是二元邏輯回歸，ovr和multinomial並沒有任何區別，區別主要在多元邏輯回歸上。
  • ovr不論是幾元回歸，都當成二元回歸來處理。mvm從從多個類中每次選兩個類進行二元回歸。如果總共有T類，需要T(T-1)/2次分類。
  • OvR相對簡單，但分類效果相對略差（大多數樣本分布情況）。而MvM分類相對精確，但是分類速度沒有OvR快。
  • 如果選擇了ovr，則4種損失函數的優化方法liblinear，newton-cg,lbfgs和sag都可以選擇。但是如果選擇了multinomial,則只能選擇newton-cg, lbfgs和sag了。
• class_weight=None : 類型權重參數。用於標示分類模型中各種類型的權重。默認不輸入，即所有的分類的權重一樣。
  • 選擇‘balanced’自動根據y值計算類型權重。
  • 自己設置權重，格式：{class_label: weight}。例如0,1分類的er‘yuan二元模型，設置class_weight={0:0.9, 1:0.1}，這樣類型0的權重為90%，而類型1的權重為10%。
• random_state=None : 隨機數種子，默認為無。僅在正則化優化算法為sag,liblinear時有用。
• max_iter=100 : 算法收斂的最大叠代次數。
• tol=0.0001 : 叠代終止判據的誤差範圍。
• verbose=0 : 日誌冗長度int：冗長度；0：不輸出訓練過程；1：偶爾輸出； >1：對每個子模型都輸出
• warm_start=False : 是否熱啟動，如果是，則下一次訓練是以追加樹的形式進行（重新使用上一次的調用作為初始化）。布爾型，默認False。
• n_jobs=1 : 並行數，int：個數；-1：跟CPU核數一致；1:默認值。

LogisticRegression類的常用方法

• fit(X, y, sample_weight=None)
  • 擬合模型，用來訓練LR分類器，其中X是訓練樣本，y是對應的標記向量
  • 返回對象，self。
• fit_transform(X, y=None, **fit_params)
  • fit與transform的結合，先fit後transform。返回X_new:numpy矩陣。
• predict(X)
  • 用來預測樣本，也就是分類，X是測試集。返回array。
• predict_proba(X)
  • 輸出分類概率。返回每種類別的概率，按照分類類別順序給出。如果是多分類問題，multi_class="multinomial"，則會給出樣本對於每種類別的概率。
  • 返回array-like。
• score(X, y, sample_weight=None)
  • 返回給定測試集合的平均準確率（mean accuracy），浮點型數值。
  • 對於多個分類返回，則返回每個類別的準確率組成的哈希矩陣。

示例

參考官網的例子，對鳶尾花數據進行邏輯回歸。畫圖參考。

import numpy as np
from sklearn import linear_model, datasets
from sklearn.cross_validation import train_test_split

# 1.加載數據
iris = datasets.load_iris()
X = iris.data[:, :2]  # 使用前兩個特征
Y = iris.target
#np.unique(Y)   # out: array([0, 1, 2])

# 2.拆分測試集、訓練集。
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.3, random_state=0)
# 設置隨機數種子，以便比較結果。

# 3.標準化特征值
from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
sc.fit(X_train)
X_train_std = sc.transform(X_train)
X_test_std = sc.transform(X_test)

# 4. 訓練邏輯回歸模型
logreg = linear_model.LogisticRegression(C=1e5)
logreg.fit(X_train, Y_train)

# 5. 預測
prepro = logreg.predict_proba(X_test_std)
acc = logreg.score(X_test_std,Y_test)

因為這裏數據量小，結果準確率只有0.7。嘛，只是小小的示範一下怎麽使用sklearn的邏輯回歸方法。在訓練模型之前，可以優化一下模型參數，用GridSearchCV()函數。

參考文章：

• Logistic Regression 模型簡介，美團技術，簡單易懂。
• 邏輯回歸模型(Logistic Regression, LR)基礎
• 機器學習算法與Python實踐之（七）邏輯回歸（Logistic Regression）
• 對線性回歸，logistic回歸和一般回歸的認識，斯坦福大學機器學習課程的筆記。
• 【機器學習算法系列之二】淺析Logistic Regression
• 邏輯回歸算法的原理及實現(LR)，用Excel實現的。

1. 【機器學習算法系列之二】淺析Logistic Regression ?

2. Cmd Markdown 公式指導手冊 ?

3. 78logistic 回歸與線性回歸的比較 ?

4. 機器學習-損失函數 ?

作者：ChZ_CC
鏈接：https://www.jianshu.com/p/e51e92a01a9c
來源：簡書
簡書著作權歸作者所有，任何形式的轉載都請聯系作者獲得授權並註明出處。

之前在邏輯回歸原理小結這篇文章中，對邏輯回歸的原理做了小結。這裏接著對scikit-learn中邏輯回歸類庫的我的使用經驗做一個總結。重點講述調參中要註意的事項。

1. 概述

　　　　在scikit-learn中，與邏輯回歸有關的主要是這3個類。LogisticRegression， LogisticRegressionCV 和logistic_regression_path。其中LogisticRegression和LogisticRegressionCV的主要區別是LogisticRegressionCV使用了交叉驗證來選擇正則化系數C。而LogisticRegression需要自己每次指定一個正則化系數。除了交叉驗證，以及選擇正則化系數C以外， LogisticRegression和LogisticRegressionCV的使用方法基本相同。

　　　　logistic_regression_path類則比較特殊，它擬合數據後，不能直接來做預測，只能為擬合數據選擇合適邏輯回歸的系數和正則化系數。主要是用在模型選擇的時候。一般情況用不到這個類，所以後面不再講述logistic_regression_path類。

　　　　此外，scikit-learn裏面有個容易讓人誤解的類RandomizedLogisticRegression,雖然名字裏有邏輯回歸的詞，但是主要是用L1正則化的邏輯回歸來做特征選擇的，屬於維度規約的算法類，不屬於我們常說的分類算法的範疇。

　　　　後面的講解主要圍繞LogisticRegression和LogisticRegressionCV中的重要參數的選擇來來展開，這些參數的意義在這兩個類中都是一樣的。

2. 正則化選擇參數：penalty

　　　　LogisticRegression和LogisticRegressionCV默認就帶了正則化項。penalty參數可選擇的值為"l1"和"l2".分別對應L1的正則化和L2的正則化，默認是L2的正則化。

　　　　在調參時如果我們主要的目的只是為了解決過擬合，一般penalty選擇L2正則化就夠了。但是如果選擇L2正則化發現還是過擬合，即預測效果差的時候，就可以考慮L1正則化。另外，如果模型的特征非常多，我們希望一些不重要的特征系數歸零，從而讓模型系數稀疏化的話，也可以使用L1正則化。

　　　　penalty參數的選擇會影響我們損失函數優化算法的選擇。即參數solver的選擇，如果是L2正則化，那麽4種可選的算法{‘newton-cg’, ‘lbfgs’, ‘liblinear’, ‘sag’}都可以選擇。但是如果penalty是L1正則化的話，就只能選擇‘liblinear’了。這是因為L1正則化的損失函數不是連續可導的，而{‘newton-cg’, ‘lbfgs’,‘sag’}這三種優化算法時都需要損失函數的一階或者二階連續導數。而‘liblinear’並沒有這個依賴。

　　　　具體使用了這4個算法有什麽不同以及有什麽影響我們下一節講。

3. 優化算法選擇參數：solver

　　　　solver參數決定了我們對邏輯回歸損失函數的優化方法，有4種算法可以選擇，分別是：

　　　　a) liblinear：使用了開源的liblinear庫實現，內部使用了坐標軸下降法來叠代優化損失函數。

　　　　b) lbfgs：擬牛頓法的一種，利用損失函數二階導數矩陣即海森矩陣來叠代優化損失函數。

　　　　c) newton-cg：也是牛頓法家族的一種，利用損失函數二階導數矩陣即海森矩陣來叠代優化損失函數。

　　　　d) sag：即隨機平均梯度下降，是梯度下降法的變種，和普通梯度下降法的區別是每次叠代僅僅用一部分的樣本來計算梯度，適合於樣本數據多的時候。

　　　　從上面的描述可以看出，newton-cg, lbfgs和sag這三種優化算法時都需要損失函數的一階或者二階連續導數，因此不能用於沒有連續導數的L1正則化，只能用於L2正則化。而liblinear通吃L1正則化和L2正則化。

　　　　同時，sag每次僅僅使用了部分樣本進行梯度叠代，所以當樣本量少的時候不要選擇它，而如果樣本量非常大，比如大於10萬，sag是第一選擇。但是sag不能用於L1正則化，所以當你有大量的樣本，又需要L1正則化的話就要自己做取舍了。要麽通過對樣本采樣來降低樣本量，要麽回到L2正則化。

　　　　從上面的描述，大家可能覺得，既然newton-cg, lbfgs和sag這麽多限制，如果不是大樣本，我們選擇liblinear不就行了嘛！錯，因為liblinear也有自己的弱點！我們知道，邏輯回歸有二元邏輯回歸和多元邏輯回歸。對於多元邏輯回歸常見的有one-vs-rest(OvR)和many-vs-many(MvM)兩種。而MvM一般比OvR分類相對準確一些。郁悶的是liblinear只支持OvR，不支持MvM，這樣如果我們需要相對精確的多元邏輯回歸時，就不能選擇liblinear了。也意味著如果我們需要相對精確的多元邏輯回歸不能使用L1正則化了。

　　　　具體OvR和MvM有什麽不同我們下一節講。

4. 分類方式選擇參數：multi_class

　　　　multi_class參數決定了我們分類方式的選擇，有 ovr和multinomial兩個值可以選擇，默認是 ovr。

　　　　ovr即前面提到的one-vs-rest(OvR)，而multinomial即前面提到的many-vs-many(MvM)。如果是二元邏輯回歸，ovr和multinomial並沒有任何區別，區別主要在多元邏輯回歸上。

　　　　OvR的思想很簡單，無論你是多少元邏輯回歸，我們都可以看做二元邏輯回歸。具體做法是，對於第K類的分類決策，我們把所有第K類的樣本作為正例，除了第K類樣本以外的所有樣本都作為負例，然後在上面做二元邏輯回歸，得到第K類的分類模型。其他類的分類模型獲得以此類推。

　　　　而MvM則相對復雜，這裏舉MvM的特例one-vs-one(OvO)作講解。如果模型有T類，我們每次在所有的T類樣本裏面選擇兩類樣本出來，不妨記為T1類和T2類，把所有的輸出為T1和T2的樣本放在一起，把T1作為正例，T2作為負例，進行二元邏輯回歸，得到模型參數。我們一共需要T(T-1)/2次分類。

　　　　從上面的描述可以看出OvR相對簡單，但分類效果相對略差（這裏指大多數樣本分布情況，某些樣本分布下OvR可能更好）。而MvM分類相對精確，但是分類速度沒有OvR快。

　　　　如果選擇了ovr，則4種損失函數的優化方法liblinear，newton-cg, lbfgs和sag都可以選擇。但是如果選擇了multinomial,則只能選擇newton-cg, lbfgs和sag了。

5. 類型權重參數： class_weight

　　　　class_weight參數用於標示分類模型中各種類型的權重，可以不輸入，即不考慮權重，或者說所有類型的權重一樣。如果選擇輸入的話，可以選擇balanced讓類庫自己計算類型權重，或者我們自己輸入各個類型的權重，比如對於0,1的二元模型，我們可以定義class_weight={0:0.9, 1:0.1}，這樣類型0的權重為90%，而類型1的權重為10%。

　　　　如果class_weight選擇balanced，那麽類庫會根據訓練樣本量來計算權重。某種類型樣本量越多，則權重越低，樣本量越少，則權重越高。

　　　　那麽class_weight有什麽作用呢？在分類模型中，我們經常會遇到兩類問題：

　　　　第一種是誤分類的代價很高。比如對合法用戶和非法用戶進行分類，將非法用戶分類為合法用戶的代價很高，我們寧願將合法用戶分類為非法用戶，這時可以人工再甄別，但是卻不願將非法用戶分類為合法用戶。這時，我們可以適當提高非法用戶的權重。

　　　　第二種是樣本是高度失衡的，比如我們有合法用戶和非法用戶的二元樣本數據10000條，裏面合法用戶有9995條，非法用戶只有5條，如果我們不考慮權重，則我們可以將所有的測試集都預測為合法用戶，這樣預測準確率理論上有99.95%，但是卻沒有任何意義。這時，我們可以選擇balanced，讓類庫自動提高非法用戶樣本的權重。

　　　　提高了某種分類的權重，相比不考慮權重，會有更多的樣本分類劃分到高權重的類別，從而可以解決上面兩類問題。

　　　　當然，對於第二種樣本失衡的情況，我們還可以考慮用下一節講到的樣本權重參數： sample_weight，而不使用class_weight。sample_weight在下一節講。

6. 樣本權重參數： sample_weight

　　　　上一節我們提到了樣本不失衡的問題，由於樣本不平衡，導致樣本不是總體樣本的無偏估計，從而可能導致我們的模型預測能力下降。遇到這種情況，我們可以通過調節樣本權重來嘗試解決這個問題。調節樣本權重的方法有兩種，第一種是在class_weight使用balanced。第二種是在調用fit函數時，通過sample_weight來自己調節每個樣本權重。

　　　　在scikit-learn做邏輯回歸時，如果上面兩種方法都用到了，那麽樣本的真正權重是class_weight*sample_weight.

　　　　以上就是scikit-learn中邏輯回歸類庫調參的一個小結，還有些參數比如正則化參數C（交叉驗證就是 Cs），叠代次數max_iter等，由於和其它的算法類庫並沒有特別不同，這裏不多累述了。

（歡迎轉載，轉載請註明出處。歡迎溝通交流： [email protected]）

Sklearn實現邏輯回歸