55-sklearn中的邏輯迴歸
阿新 • • 發佈:2020-10-21
sklearn中的邏輯迴歸
在上一篇部落格中介紹了在邏輯迴歸中新增多項式項,使得生成相對不規則的決策邊界,進而對於非線性的資料進行一個很好的分類。不過,既然引入了多項式項,我們的模型就會變得非常複雜,一不小心就會出現過擬合的情況。解決過擬合的問題,一個常規的手段就是之前學習的模型正則化的方式。
之前我們學習的模型正則化的方式,都是在損失函式
J
(
θ
)
J(θ)
J(θ) 後面新增一個
L
1
L_1
L1 正則項或者
L
2
L2
L2 正則項,並在正則項前新增一個係數
α
α
α 維持
J
(
θ
)
J(θ)
J(θ) 與正則項之間的平衡。
不過,我們在邏輯迴歸中使用模型正則化與之前稍有不同,我們不在正則項前新增一個係數,而是在
J
(
θ
)
J(θ)
J(θ) 前新增一個係數
C
C
C。
在
s
k
l
e
a
r
n
sklearn
sklearn 中也是使用這種方式。因為這種方式使得你不得不進行正則化,因為
L
1
L_1
L1 和
L
2
L_2
L2 前面的係數不能為 0。
下面我們就來看一下 s k l e a r n sklearn sklearn 是怎麼封裝邏輯迴歸的,與此同時,嘗試在邏輯迴歸中引入正則化。
之前有提到過說,邏輯迴歸只能解決二分類的問題。但是我們也可以利用一些技巧使得邏輯迴歸能夠解決多分類的問題。
具體程式碼見 55 sklearn中的邏輯迴歸.ipynb