1. 程式人生 > >邏輯斯蒂迴歸能否解決非線性分類問題? 邏輯斯蒂迴歸提出時用來解決線型分類問題,其分離面是一個線型超平面wx+b,如果將這個超平面改成非線性的,如x1^2+x2=0之類的非線性超平面來進行分類,是否也可

邏輯斯蒂迴歸能否解決非線性分類問題? 邏輯斯蒂迴歸提出時用來解決線型分類問題,其分離面是一個線型超平面wx+b,如果將這個超平面改成非線性的,如x1^2+x2=0之類的非線性超平面來進行分類,是否也可

邏輯迴歸的模型引入了sigmoid函式對映,是非線性模型,但本質上又是一個線性迴歸模型,因為除去sigmoid對映函式關係,其他的步驟,演算法都是線性迴歸的。可以說,邏輯迴歸,都是以線性迴歸為理論支援的。 這裡講到的線性,是說模型關於係數\theta一定是線性形式的z=\theta^Tx=\theta_0x_0+\theta_1x_1+...+\theta_nx_n 加入sigmoid對映後,變成:h_\theta(x)=g(z)=g(\theta^Tx)=\frac{1}{1+e^{-z}} =\frac{1}{1+e^{-\theta^Tx}}

如果分類平面本身就是線性的,那麼邏輯迴歸關於特徵變數x,以及關於係數\theta都是線性的 如果分類平面是非線性的,例如題主提到的x_{1}^{2} +x_2=0,那麼邏輯斯蒂迴歸關於變數x是非線性的,但是關於引數\theta仍然是線性的z=\theta^Tx'=\theta_0x_0'+\theta_1x_1'+\theta_2x_2'=\theta_0x_0+\theta_1x_{1}^{2} +\theta_2x_2=x_{1}^2+x_2 這裡,我們做了一個關於變數x的變換:x_0'=x_0,x_1'=x_1^2,x_2'=x_2

其他非線性超平面一樣的道理,我們可以通過變數的變化,最終一定可以化成形如z=\theta^Tx‘=\theta_0x_0'+\theta_1x_1'+...+\theta_nx_n'的東西,我們把z看做\theta

的變數,就是個線性模型。剩下的工作,無非是去構造對映關係x_0'=\phi_0(x_0),x_1'=\phi_1(x_1),...x_n'=\phi_n(x_n)

題主提到了SVM,區別是,SVM如果不用核函式,也得像邏輯迴歸一樣,在對映後的高維空間顯示的定義非線性對映函式\phi,而引入了核函式之後,可以在低維空間做完點積計算後,對映到高維

綜上,邏輯迴歸本質上是線性迴歸模型,關於係數是線性函式,分離平面無論是線性還是非線性的,邏輯迴歸其實都可以進行分類。對於非線性的,需要自己去定義一個非線性對映。 作者:辛俊波 連結:https://www.zhihu.com/question/29385169/answer/44177582 來源:知乎 著作權歸作者所有。商業轉載請聯絡作者獲得授權,非商業轉載請註明出處。