1. 程式人生 > 實用技巧 >55-sklearn中的邏輯迴歸

55-sklearn中的邏輯迴歸

sklearn中的邏輯迴歸

  在上一篇部落格中介紹了在邏輯迴歸中新增多項式項,使得生成相對不規則的決策邊界,進而對於非線性的資料進行一個很好的分類。不過,既然引入了多項式項,我們的模型就會變得非常複雜,一不小心就會出現過擬合的情況。解決過擬合的問題,一個常規的手段就是之前學習的模型正則化的方式。

  之前我們學習的模型正則化的方式,都是在損失函式 J ( θ ) J(θ) J(θ) 後面新增一個 L 1 L_1 L1 正則項或者 L 2 L2 L2 正則項,並在正則項前新增一個係數 α α α 維持 J ( θ ) J(θ) J(θ) 與正則項之間的平衡。
在這裡插入圖片描述

  不過,我們在邏輯迴歸中使用模型正則化與之前稍有不同,我們不在正則項前新增一個係數,而是在 J ( θ ) J(θ)

J(θ) 前新增一個係數 C C C
在這裡插入圖片描述
  
  在 s k l e a r n sklearn sklearn 中也是使用這種方式。因為這種方式使得你不得不進行正則化,因為 L 1 L_1 L1 L 2 L_2 L2 前面的係數不能為 0。

  下面我們就來看一下 s k l e a r n sklearn sklearn 是怎麼封裝邏輯迴歸的,與此同時,嘗試在邏輯迴歸中引入正則化。

在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述
在這裡插入圖片描述


  之前有提到過說,邏輯迴歸只能解決二分類的問題。但是我們也可以利用一些技巧使得邏輯迴歸能夠解決多分類的問題。

  具體程式碼見 55 sklearn中的邏輯迴歸.ipynb