機器學技法筆記總結（一）SVM系列總結及實戰

1、原理總結

在機器學習課程的第1-6課，主要學習了SVM支援向量機。 SVM是一種二類分類模型。它的基本模型是在特徵空間中尋找間隔最大化的分離超平面的線性分類器。 （1）當訓練樣本線性可分時，通過硬間隔最大化，學習一個線性分類器，即線性可分支援向量機； 這也就是機器學習技法筆記1中學習的內容。機器學習技法筆記1：線性SVM，在這篇筆記的第1.1節中，首先從直觀上說明了最大間隔超平面的好處，也就是容忍噪聲性比較好，不易發生過擬合。接著在第1.2節中，將第一節中的描述通過公式進行了描述，得到了SVM的原始形式。在第1.3節中，採用二次規劃的方法說明可以對SVM進行求解。在第1.4節

中，說明的SVM的理論依據，也就是通過控制間隔在一定程度上起到了正則化的作用，使得VC維不那麼大，如果線上性SVM的基礎上引入非線性變換，就可以兼顧VC維和模型複雜度。 有了SVM的基本形式，為了防止計算量過大，就可以引入SVM的對偶形式，在機器學習技法筆記2中，推導了線性SVM對應的對偶形式。機器學習技法筆記2：SVM的對偶形式，接著在機器學習筆記3：Kernel SVM中，通過將kernel引入到SVM的對偶形式中，徹底解決了計算量過大的問題，並比較了不同kernel的優缺點。 （2）當訓練資料線性不可分時，引入鬆弛變數，通過軟間隔最大化，學習一個分類器，即soft-margin支援向量機； 在機器學習技法筆記4中，機器學習技法筆記4：soft-margin SVM中，詳細介紹了這部分內容。

後面的兩部分內容機器學習技法筆記5：kernel 邏輯迴歸和機器學習技法筆記6：SVR 中，是對SVM思想的一些擴充。在kernel 邏輯迴歸部分，首先第5-1節對比了soft-margin SVM和L2正則化的loss function，發現兩者形式相同，那麼large-margin也就對應於正則化，起到了防止過擬合的作用。第5-2節中對比了SVM和logistics regression的loss function，發現兩者相似，第5-3節中，將SVM的結果應用在Soft Binary Classification中，得到是正類的概率值，也就是將SVM得到的結果看成非線性變換得到的分數，代入logistics regression的式子中，第5-4節

中講了另一種將SVM的思想應用於Soft Binary Classification的方法，也就是直接將W的線性組合形式代入到L2-regularized logistics regression的式子中,稱為KLR（kernel logistics regression），第6-1節延續了第5-4節內容，將W的線性組合形式代入到L2-regularized ridge regression的式子中，得到KRR（kernel ridge regression)，我們把KRR應用分類上上取個 新的名字，叫做least-squares SVM（LSSVM），由於在SVM中，根據KKT條件，我們得到的w最後是support vector的線性組合，這個大大減少了w的計算成本。而在LSSVM中，計算量很大，因為基本上每一個點都相當於SVM中的支撐向量，為了解決這個問題，可以引入中立區，也就是將KRR中的square error換成能夠容忍錯誤點的error，這就是L2-regularized tude regression, 做一些係數上的變換就得到了SVR（支援向量迴歸）以及支援向量迴歸的對偶形式，這就是第6-2節和第6-3節的內容。

2、sklearn.svm實戰

1. 最簡單的線性SVM 裡面的繪圖函式直接用即可，在這裡隨機生成了50個樣本點，樣本點的分佈為兩個簇，採用線性SVM對其進行分類

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
# 資料點的生成器
from sklearn.datasets.samples_generator import make_blobs
from sklearn.svm import SVC # "Support vector classifier"

# 繪圖函式，直接用即可
def plot_svc_decision_function(model, ax=None, plot_support=True):
    """Plot the decision function for a 2D SVC"""
    if ax is None:
        ax = plt.gca()
    xlim = ax.get_xlim()
    ylim = ax.get_ylim()

    # create grid to evaluate model
    x = np.linspace(xlim[0], xlim[1], 30)
    y = np.linspace(ylim[0], ylim[1], 30)
    Y, X = np.meshgrid(y, x)
    xy = np.vstack([X.ravel(), Y.ravel()]).T
    P = model.decision_function(xy).reshape(X.shape)

    # plot decision boundary and margins
    ax.contour(X, Y, P, colors='k',
               levels=[-1, 0, 1], alpha=0.5,
               linestyles=['--', '-', '--'])
    ax.set_xlim(xlim)
    ax.set_ylim(ylim)

if __name__ == '__main__':
    #隨機生成50個點，有兩簇，cluster_std表示簇的離散程度
    X, y = make_blobs(n_samples=50, centers=2,
                  random_state=0, cluster_std=0.60)

    model = SVC(kernel='linear')
    model.fit(X, y)
    plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
    plot_svc_decision_function(model)
    plt.show()

結果： 2. 當資料是非線性的時候，線性SVM無法分割，應該採用RBF 其中，引數C特別大的時候，分類要求很嚴格，不能有分類錯誤，C比較小的時候，可以容忍一些錯誤

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
# 資料點的生成器
from sklearn.datasets.samples_generator import make_blobs
from sklearn.svm import SVC # "Support vector classifier"
from sklearn.datasets.samples_generator import make_circles
# 繪圖函式，直接用即可
def plot_svc_decision_function(model, ax=None, plot_support=True):
    """Plot the decision function for a 2D SVC"""
    if ax is None:
        ax = plt.gca()
    xlim = ax.get_xlim()
    ylim = ax.get_ylim()

    # create grid to evaluate model
    x = np.linspace(xlim[0], xlim[1], 30)
    y = np.linspace(ylim[0], ylim[1], 30)
    Y, X = np.meshgrid(y, x)
    xy = np.vstack([X.ravel(), Y.ravel()]).T
    P = model.decision_function(xy).reshape(X.shape)

    # plot decision boundary and margins
    ax.contour(X, Y, P, colors='k',
               levels=[-1, 0, 1], alpha=0.5,
               linestyles=['--', '-', '--'])
    ax.set_xlim(xlim)
    ax.set_ylim(ylim)

if __name__ == '__main__':
    #隨機生成100個點
    X, y = make_circles(100, factor=.1, noise=.1)
    model = SVC(kernel='rbf', C=1E6)
    model.fit(X, y)
    plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
    plot_svc_decision_function(model)
    plt.show()

結果：

3. soft-margin的SVM 通過選擇不同的引數C可以控制分類錯誤的大小。引數C無窮大的時候，分類要求很嚴格，不能有分類錯誤，C比較小的時候，可以容忍一些錯誤。在機器學習技法筆記4中，機器學習技法筆記4：soft-margin SVM中，詳細介紹了這部分內容。 （1）C=0.1時

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
# 資料點的生成器
from sklearn.datasets.samples_generator import make_blobs
from sklearn.svm import SVC # "Support vector classifier"
from sklearn.datasets.samples_generator import make_circles
# 繪圖函式，直接用即可
def plot_svc_decision_function(model, ax=None, plot_support=True):
    """Plot the decision function for a 2D SVC"""
    if ax is None:
        ax = plt.gca()
    xlim = ax.get_xlim()
    ylim = ax.get_ylim()

    # create grid to evaluate model
    x = np.linspace(xlim[0], xlim[1], 30)
    y = np.linspace(ylim[0], ylim[1], 30)
    Y, X = np.meshgrid(y, x)
    xy = np.vstack([X.ravel(), Y.ravel()]).T
    P = model.decision_function(xy).reshape(X.shape)

    # plot decision boundary and margins
    ax.contour(X, Y, P, colors='k',
               levels=[-1, 0, 1], alpha=0.5,
               linestyles=['--', '-', '--'])
    ax.set_xlim(xlim)
    ax.set_ylim(ylim)

if __name__ == '__main__':
    #隨機生成100個點
    X, y = make_blobs(n_samples=100, centers=2,
                      random_state=0, cluster_std=0.9)
    model = SVC(kernel='linear', C=0.1)
    model.fit(X, y)
    plt.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
    plot_svc_decision_function(model)
    plt.show()

結果： 存在錯誤點，且margin比較大 （2）C=10時，也就是將上面程式碼中C變為10 錯誤點變少，margin比較小

4. RBF中的gamma引數

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats
# 資料點的生成器
from sklearn.datasets.samples_generator import make_blobs
from sklearn.svm import SVC # "Support vector classifier"
from sklearn.datasets.samples_generator import make_circles
# 繪圖函式，直接用即可
def plot_svc_decision_function(model, ax=None, plot_support=True):
    """Plot the decision function for a 2D SVC"""
    if ax is None:
        ax = plt.gca()
    xlim = ax.get_xlim()
    ylim = ax.get_ylim()

    # create grid to evaluate model
    x = np.linspace(xlim[0], xlim[1], 30)
    y = np.linspace(ylim[0], ylim[1], 30)
    Y, X = np.meshgrid(y, x)
    xy = np.vstack([X.ravel(), Y.ravel()]).T
    P = model.decision_function(xy).reshape(X.shape)

    # plot decision boundary and margins
    ax.contour(X, Y, P, colors='k',
               levels=[-1, 0, 1], alpha=0.5,
               linestyles=['--', '-', '--'])
    ax.set_xlim(xlim)
    ax.set_ylim(ylim)

if __name__ == '__main__':
    #隨機生成100個點
    X, y = make_blobs(n_samples=100, centers=2,
                      random_state=0, cluster_std=0.9)
    fig, ax = plt.subplots(1, 2, figsize=(16, 6))
    for axi, gamma in zip(ax, [10.0, 0.1]):
        model = SVC(kernel='rbf', gamma=gamma)
        model.fit(X, y)
        axi.scatter(X[:, 0], X[:, 1], c=y, s=50, cmap='autumn')
        plot_svc_decision_function(model,axi)
    plt.show()

結果： 左圖的gamma=10，右圖gamma=0.1，可見gamma過大易出現過擬合現象。 這在機器學習技法3：kernel SVM中學習過

5. 人臉識別例子

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_lfw_people
from sklearn.svm import SVC
from sklearn.decomposition import PCA
from sklearn.pipeline import make_pipeline
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn.metrics import classification_report
import seaborn as sns
from sklearn.metrics import confusion_matrix
# 繪圖函式，直接用即可
def plot_svc_decision_function(model, ax=None, plot_support=True):
    """Plot the decision function for a 2D SVC"""
    if ax is None:
        ax = plt.gca()
    xlim = ax.get_xlim()
    ylim = ax.get_ylim()

    # create grid to evaluate model
    x = np.linspace(xlim[0], xlim[1], 30)
    y = np.linspace(ylim[0], ylim[1], 30)
    Y, X = np.meshgrid(y, x)
    xy = np.vstack([X.ravel(), Y.ravel()]).T
    P = model.decision_function(xy).reshape(X.shape)

    # plot decision boundary and margins
    ax.contour(X, Y, P, colors='k',
               levels=[-1, 0, 1], alpha=0.5,
               linestyles=['--', '-', '--'])
    ax.set_xlim(xlim)
    ax.set_ylim(ylim)

if __name__ == '__main__':

    faces = fetch_lfw_people(min_faces_per_person=60)
    # 由於特徵維數過大，可以先採用PCA進行降維，將其降到150維
    pca = PCA(n_components=150, whiten=True, random_state=42)
    # 對兩個類別按照樣本數目設定懲罰項
    svc = SVC(kernel='rbf', class_weight='balanced')
    model = make_pipeline(pca, svc)
    # 劃分訓練集和測試集
    Xtrain, Xtest, ytrain, ytest = train_test_split(faces.data, faces.target,
                                                    random_state=40)
    # 使用GridSearchCV選擇引數
    param_grid = {'svc__C': [1, 5, 10],
                  'svc__gamma': [0.0001, 0.0005, 0.001]}
    grid = GridSearchCV(model, param_grid)

    grid.fit(Xtrain, ytrain)
    print("最優引數為：",grid.best_params_)
    model = grid.best_estimator_
    yfit = model.predict(Xtest)

    # 顯示出一部分預測結果，紅色部分為預測錯誤的
    fig, ax = plt.subplots(4, 6)
    for i, axi in enumerate(ax.flat):
        axi.imshow(Xtest[i].reshape(62, 47), cmap='bone')
        axi.set(xticks=[], yticks=[])
        axi.set_ylabel(faces.target_names[yfit[i]].split()[-1],
                       color='black' if yfit[i] == ytest[i] else 'red')

    fig.suptitle('Predicted Names; Incorrect Labels in Red', size=14)

    # 給出預測值的相關結果
    print(classification_report(ytest, yfit,
                                target_names=faces.target_names))
    plt.show()
    # 給出混淆矩陣，並作出熱度圖，對角線上元素表示了預測正確的概率
    mat = confusion_matrix(ytest, yfit)
    sns.heatmap(mat.T, square=True, annot=True, fmt='d', cbar=False,
                xticklabels=faces.target_names,
                yticklabels=faces.target_names)
    plt.xlabel('true label')
    plt.ylabel('predicted label')
    plt.show()

結果：

最優引數為： {'svc__C': 5, 'svc__gamma': 0.0005}
                   precision    recall  f1-score   support
     Ariel Sharon       0.71      0.75      0.73        20
     Colin Powell       0.76      0.77      0.76        44
  Donald Rumsfeld       0.76      0.73      0.75        30
    George W Bush       0.92      0.92      0.92       148
Gerhard Schroeder       0.76      0.79      0.78        24
Junichiro Koizumi       1.00      0.82      0.90        11
       Tony Blair       0.88      0.88      0.88        24
      avg / total       0.85      0.85      0.85       301