為何說邏輯回歸是線性模型?
阿新 • • 發佈:2018-11-25
為何說邏輯回歸是線性模型?
前言
邏輯回歸的公式中有使用到sigmoid函式,為何仍說邏輯回歸是線性模型呢?
本篇會從數學的角度來看邏輯回歸模型。我們在最後會發現,這跟邏輯回歸模型的決策邊界有關。
邏輯回歸簡介
雖然在邏輯回歸這個稱呼中有回歸兩字,但邏輯回歸其實並不是一個回歸模型,而是一個二分類的模型。它的數學公式十分簡單,先將輸入項與權重做內積,接著套上sigmoid函式,便會得到一個介於0與1之間的值。我們通常會設一個閾值,如0.5,將小於這個閾值的分做一類,大於這個閾值的分作另外一類。
邏輯回歸的決策邊界
首先給出邏輯回歸的數學公式:
邏輯回歸是以閾值0.5來將資料分成兩類,從下面這張圖來看,可以將上句等價地描述為"邏輯回歸是觀察z值,以0為閾值將資料分成兩類",亦即,模型的決策邊界是在z為0處。到了這一步,我們便己經將非線性的成份給排除了。
我們繼續來看在輸入特徵空間中,決策邊界究竟是何種形狀。首先從最簡單的例子看起,也就是x即單變數的情形。在這種情況下,我們可以令 ,由此計算出在輸入特徵空間的決策邊界為 。意即在x是單變數時,決策邊界是一條線。
在x是多變數的時候,我們也可以用同樣的方法來找出決策邊界為
,而這在高維空間的表現便是所謂的超平面。
由於在x為單變數或多變數的情形下,邏輯回歸的決策邊界皆是線性的,因此我們才說邏輯回歸是線性模型。