邏輯斯蒂迴歸能否解決非線性分類問題? 邏輯斯蒂迴歸提出時用來解決線型分類問題,其分離面是一個線型超平面wx+b,如果將這個超平面改成非線性的,如x1^2+x2=0之類的非線性超平面來進行分類,是否也可
阿新 • • 發佈:2018-12-17
邏輯迴歸的模型引入了sigmoid函式對映,是非線性模型,但本質上又是一個線性迴歸模型,因為除去sigmoid對映函式關係,其他的步驟,演算法都是線性迴歸的。可以說,邏輯迴歸,都是以線性迴歸為理論支援的。 這裡講到的線性,是說模型關於係數一定是線性形式的 加入sigmoid對映後,變成:
如果分類平面本身就是線性的,那麼邏輯迴歸關於特徵變數x,以及關於係數都是線性的 如果分類平面是非線性的,例如題主提到的,那麼邏輯斯蒂迴歸關於變數x是非線性的,但是關於引數仍然是線性的 這裡,我們做了一個關於變數x的變換:
其他非線性超平面一樣的道理,我們可以通過變數的變化,最終一定可以化成形如的東西,我們把z看做
題主提到了SVM,區別是,SVM如果不用核函式,也得像邏輯迴歸一樣,在對映後的高維空間顯示的定義非線性對映函式,而引入了核函式之後,可以在低維空間做完點積計算後,對映到高維
綜上,邏輯迴歸本質上是線性迴歸模型,關於係數是線性函式,分離平面無論是線性還是非線性的,邏輯迴歸其實都可以進行分類。對於非線性的,需要自己去定義一個非線性對映。 作者:辛俊波 連結:https://www.zhihu.com/question/29385169/answer/44177582 來源:知乎 著作權歸作者所有。商業轉載請聯絡作者獲得授權,非商業轉載請註明出處。