2. 程式人生 > >線性可分 與線性不可分

線性可分 與線性不可分

阿新 • • 發佈：2017-05-19
net 分類算法 數據轉換 higher 依然 技術分享 無需 mon 學習分類

http://blog.csdn.net/u013300875/article/details/44081067

很多機器學習分類算法，比如支持向量機（svm），假設數據是要線性可分。

如果數據不是線性可分的，我們就必須要采用一些特殊的方法，比如svm的核技巧把數據轉換到更高的維度上，在那個高維空間上數據可能會變得線性可分。

那麽，我們如何判斷數據是不是線性可分的？

最簡單的情況是數據向量是一維二維或者三維的，我們可以把圖像畫出來，直觀上就能看出來。

比如H?vard Geithus網友的圖，非常簡單就看出兩個類的情形下X和O是不是線性可分。

技術分享

但是數據向量維度一旦變得很高，我們怎麽辦？

答案是檢查凸包（convex hull）是否相交。

什麽是凸包呢？

簡單說凸包就是一個凸的閉合曲線（曲面），而且它剛好包住了所有的數據。

舉個例子，下圖的藍色線就是一個恰好包住所有數據的閉合凸曲線。

技術分享

知道了什麽是凸包，我們就能檢查我們的數據是不是線性可分了。

以二維的情況為例，如果我們的數據訓練集有兩類：M+和M-，

當我們畫出兩個類的凸包，如果兩者不重疊，那麽兩者線性可分，反之則不是線性可分。

下圖就是個線性可分的情況。

技術分享

雖然現在我們比直接看數據判斷是不是線性可分進了一步，但是好像還是靠畫出圖來人眼判斷，這對高維度數據依然無效。

是這樣麽？當然不是。

因為判斷兩個凸包是不是有重疊可以通過判斷凸包M+的邊和凸包M-的邊是否相交來實現，這就無需把凸包畫出來了。

如何高效的找到一組數據的凸包？

如何高效的判斷兩個凸包是否重合？

網友Darren Engwirda 給出了很好的建議：

There are efficient algorithms that can be used both to find the convex hull (theqhull algorithm is based on anO(nlog(n)) quickhull approach I think), and to perform line-line intersection tests for a set of segments (sweepline atO(nlog(n))

), so overall it seems that an efficient O(nlog(n)) algorithm should be possible.

This type of approach should also generalise to general k-way separation tests (where you havek groups of objects) by forming the convex hull and performing the intersection tests for each group.

It should also work in higher dimensions, although the intersection tests would start to become more challenging...

簡單說，他的建議就是用quickhull算法來找到數據的凸包，sweepline算法判斷凸包邊緣是否有相交，兩個步驟的復雜度都是O(nlogn)。

其中quickhull已經在軟件包qhull(http://www.qhull.org/)實現了。

http://www.tuicool.com/articles/ERJVZv

線性可分 與線性不可分

相關推薦

線性可分 與線性不可分

net 分類算法 數據轉換 higher 依然 技術分享 無需 mon 學習分類 http://blog.csdn.net/u013300875/article/details/44081067 很多機器學習分類算法，比如支持向量機（svm），假設數據是要線性可分。 如果數

MATLAB第十一課：線性迴歸方程式與線性系統

目標： 線性方程 線性系統 一、線性方程 Linear Equation： 給定一個線性方程的例子： 把線性方程寫成矩陣的形式。 通常，我們求解線性方程時，A和b是已知的，x是未知的。 Solving Linear Equations： Success

機器學習中的特徵提取與特徵轉換 [將線性不可分轉換為線性可分]

機器學習中，神經網路是如何將線性不可分的樣本，進行很好的分類的？ 如上圖所示，左圖中的藍色的圓圈和紅色的叉叉是線性不可分的。 如上圖中右圖所示，我們發現它們是可以被一個圓分開的。假設黑色圓圈的公式為： x1^2 + x2^2 + 0.6 = 0，則可以使用如下公式將藍色的圓圈和紅色

詳解SVM系列（三）：線性可分支援向量機與硬間隔最大化

支援向量機概覽（support vector machines SVM） 支援向量機是一種二類分類模型。它的基本模型是定義在特徵空間上的間隔最大（間隔最大區別於感知機）線性分類器（核函式可以用非線性的分類）。 支援向量機的學習策略是間隔最大化可形式化為一個求解凸二次規劃的問題。 也等

RBF核函式將一維線性不可分資料對映到二維平面上變成線性可分的資料

#!/usr/bin/python # -*- coding: utf-8 -*- import matplotlib.pyplot as plt from sklearn import datasets import pandas as pd import numpy as np x = np.a

機器學習：SVM（一）——線性可分支援向量機原理與公式推導

原理 SVM基本模型是定義在特徵空間上的二分類線性分類器（可推廣為多分類），學習策略為間隔最大化，可形式化為一個求解凸二次規劃問題，也等價於正則化的合頁損失函式的最小化問題。求解演算法為序列最小最優化演算法（SMO） 當資料集線性可分時，通過硬間隔最大化，學習一個線性分類器；資料集近似線性可分時，即存在一小

超平面與線性可分

參考：http://mp.weixin.qq.com/s/2QHG0D1j0hQyErYg7Cp53w http://blog.csdn.net/m0_37658225/article/details/70048959 在介紹線性可分之前就必須先介紹一下超平

支援向量機1—線性可分支援向量機與硬間隔最大化

支援向量機（support vector machine, SVM）是一種二類分類模型。它的基本模型是定義在特徵空間上的間隔最大的線性分類器，間隔最大使它有別於感知機；支援向量還包括核技巧，這使它成為實質上的非線性分類器。支援向量機的學習策略就是間隔最大化，可形式化為一個求解

線性可分 線性不可分

很多機器學習分類演算法，比如支援向量機（SVM），的介紹都說了假設資料要是線性可分。如果資料不是線性可分的，我們就必須要採用一些特殊的方法，比如SVM的核技巧把資料轉換到更高的維度上，在那個高維空間資料更可能是線性可分的（Cover定理）。 理論上一定能在

線性可分SVM與硬間隔最大化

線性可分支援向量機 定義 給定線性可分訓練資料集，通過間隔最大化或等價求解相應凸二次規劃問題學習得到的分離超平面為 w∗⋅x+b∗=0 以及相應的分類決策函式 f(x)=sign(w∗⋅x+b∗) 稱為線性可分支援向量機。

令人煎熬的SVM 線性可分支援向量機與硬間隔最大化

此時此刻，還是帶著問題寫的部落格····哇，怎麼總結.先貼上一個部落格地址   http://blog.pluskid.org/?p=632先說名字，線性可分，就是存在一個超平面，能把正例跟負例完全分隔開，那麼這個資料集就是線性可分的。支援向量：離超平面越近的越難分是正例還是

理解SVM（二）——線性不可分的情況

文章轉載自https://blog.csdn.net/puqutogether/article/details/41309745 理解SVM（二）——線性不可分的情況     前面一篇介紹了SVM的基本原理和程式碼實現。其中提到了原始的SVM對資料對好要線性可分的假設太嚴

SVM支援向量機系列理論（二） 線性可分SVM模型的對偶問題

2.1 對偶問題 2.1.1 原始問題的轉換 2.2.2 強對偶性和弱對偶性 2.3.3 SVM模型的對偶問題形式求解

06 SVM - 線性可分模型演算法和案例

三、線性可分SVM演算法流程 輸入線性可分的m個樣本資料{(x1,y1),(x2,y2),...,(xm,ym)}，其中x為n維的特徵向量，y為二元輸出，取值為+1或者-1；SVM模型輸出為引數w、b以及分類決策函式。 1、構造約束優化問題； 2、使用SMO演算法求出上式優化中對應

05 SVM - 支援向量機 - 概念、線性可分

一、SVM概念 支援向量機(Support Vector Machine, SVM)本身是一個__二元分類演算法__，是對感知器演算法模型的一種擴充套件，現在的SVM演算法支援__線性分類__和__非線性分類__的分類應用，並且也能夠直接將SVM應用於__迴歸應用__中，同時通過OvR或者OvO

線性可分支援向量機

我們知道兩類樣本點其實是有很多分割超平面的，那麼哪條最優呢？若兩個集合有部分相交，那麼又如何定義超平面使得兩個集合“儘量”分開呢？ 現在就從這兩個問題入手來解決SVM分類器的目標函式是什麼。假如有正例和負例兩類樣本點，現在就要去作一條分割線，但是這些樣本的地位並不完全一樣，距離直線最近的樣本，算出它

支援向量機（support vector machine）（一）：線性可分SVM

    總結一下，不然過段時間就全忘了，加油~     1、問題描述     假設，存在兩類資料A，B，如圖1所示，A中資料對應於圖中的實心點，B中資料對應圖中的空心點，現在我們需要得到一條直線，能夠將二者進行區分，這樣的線存在無數條，如圖1中的黑色直線所示，這些線都能夠

分類——資料的線性可分

分類問題是當下最熱的機器學習的一種應用。分類問題主要有三個關鍵點，分別是資料、模型和評價。資料的好壞關係到模型的準確性，在實際應用中往往會發現，影響系統準確性的因素，往往不是使用了多少不同的分類模型，而是訓練資料。本文介紹資料的一個方面即資料的線性可分性。 學

Python(線性可分SVM)

predict_train = np.sign(np.dot(x_train,w)+b)    mistag = np.where(predict_train*y_train<=0)[0] train_acc = round((len(y_train)-len(mistag))/len(y_train)

Python(線性不可分SVM)

for t in range(maxgen):     i1 = v1(a,y_train,gram)     i2 = v2(i1,n)          old_a1,old_a2 = a[i1],a[i2]     old_y1,old_y2 = y_train[i1],y_train[i2]