吳恩達機器學習 - 支援向量機(SVM) 吳恩達機器學習 - 支援向量機(SVM)

阿新 • • 發佈：2018-11-05

原

吳恩達機器學習 - 支援向量機(SVM)

2018年06月24日 14:40:42 離殤灬孤狼閱讀數：218 更多

																				<div class="tags-box space">
							<span class="label">個人分類：</span>
															<a class="tag-link" href="https://blog.csdn.net/wyg1997/article/category/7742222" target="_blank">吳恩達機器學習																</a>
						</div>
																							</div>
			<div class="operating">
													</div>
		</div>
	</div>
</div>
<article>
	<div id="article_content" class="article_content clearfix csdn-tracking-statistics" data-pid="blog" data-mod="popu_307" data-dsm="post" style="height: 2211px; overflow: hidden;">
							<div class="article-copyright">
				版權宣告：如果感覺寫的不錯，轉載標明出處連結哦~blog.csdn.net/wyg1997					https://blog.csdn.net/wyg1997/article/details/80791206				</div>
							            <div class="markdown_views">
						<!-- flowchart 箭頭圖示 勿刪 -->
						<svg xmlns="http://www.w3.org/2000/svg" style="display: none;"><path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path></svg>
						<p>題目連結：<a href="https://s3.amazonaws.com/spark-public/ml/exercises/on-demand/machine-learning-ex6.zip" rel="nofollow" target="_blank">點選開啟連結</a></p>

筆記：

這裡寫圖片描述

無核SVM

資料視覺化：

Code（命令列）:

% Load from ex6data1: 
% You will have X, y in your environment
load('ex6data1.mat');

% Plot training data
plotData(X, y);
  
   1
   2
   3
   4
   5
   6

效果圖：

這裡寫圖片描述

訓練

Code（這個是寫好的程式碼，碼一下以後可以直接用）：

function [model] = svmTrain 
(X, Y, C, kernelFunction, ...
                            tol, max_passes)
%SVMTRAIN Trains an SVM classifier using a simplified version of the SMO 
%algorithm. 
%   [model] = SVMTRAIN(X, Y, C, kernelFunction, tol, max_passes) trains an
%   SVM classifier and returns trained model. X is the matrix of training  

%   examples.  Each row is a training example, and the jth column holds the 
%   jth feature.  Y is a column matrix containing 1 for positive examples 
%   and 0 for negative examples.  C is the standard SVM regularization 
%   parameter.  tol is a tolerance value used for determining equality of 
%   floating point numbers. max_passes controls the number of iterations
%   over the dataset (without changes to alpha) before the algorithm quits.
%
% Note: This is a simplified version of the SMO algorithm for training
%       SVMs. In practice, if you want to train an SVM classifier, we
%       recommend using an optimized package such as:  
%
%           LIBSVM   (http://www.csie.ntu.edu.tw/~cjlin/libsvm/)
%           SVMLight (http://svmlight.joachims.org/)
%
%

if ~exist('tol', 'var') || isempty(tol)
    tol = 1e-3;
end

if ~exist('max_passes', 'var') || isempty(max_passes)
    max_passes = 5;
end

% Data parameters
m = size(X, 1);
n = size(X, 2);

% Map 0 to -1
Y(Y==0) = -1;

% Variables
alphas = zeros(m, 1);
b = 0;
E = zeros(m, 1);
passes = 0;
eta = 0;
L = 0;
H = 0;

% Pre-compute the Kernel Matrix since our dataset is small
% (in practice, optimized SVM packages that handle large datasets
%  gracefully will _not_ do this)
% 
% We have implemented optimized vectorized version of the Kernels here so
% that the svm training will run faster.
if strcmp(func2str(kernelFunction), 'linearKernel')
    % Vectorized computation for the Linear Kernel
    % This is equivalent to computing the kernel on every pair of examples
    K = X*X';
elseif strfind(func2str(kernelFunction), 'gaussianKernel')
    % Vectorized RBF Kernel
    % This is equivalent to computing the kernel on every pair of examples
    X2 = sum(X.^2, 2);
    K = bsxfun(@plus, X2, bsxfun(@plus, X2', - 2 * (X * X')));
    K = kernelFunction(1, 0) .^ K;
else
    % Pre-compute the Kernel Matrix
    % The following can be slow due to the lack of vectorization
    K = zeros(m);
    for i = 1:m
        for j = i:m
             K(i,j) = kernelFunction(X(i,:)', X(j,:)');
             K(j,i) = K(i,j); %the matrix is symmetric
        end
    end
end

% Train
fprintf('\nTraining ...');
dots = 12;
while passes < max_passes,

    num_changed_alphas = 0;
    for i = 1:m,

        % Calculate Ei = f(x(i)) - y(i) using (2). 
        % E(i) = b + sum (X(i, :) * (repmat(alphas.*Y,1,n).*X)') - Y(i);
        E(i) = b + sum (alphas.*Y.*K(:,i)) - Y(i);

        if ((Y(i)*E(i) < -tol && alphas(i) < C) || (Y(i)*E(i) > tol && alphas(i) > 0)),

            % In practice, there are many heuristics one can use to select
            % the i and j. In this simplified code, we select them randomly.
            j = ceil(m * rand());
            while j == i,  % Make sure i \neq j
                j = ceil(m * rand());
            end

            % Calculate Ej = f(x(j)) - y(j) using (2).
            E(j) = b + sum (alphas.*Y.*K(:,j)) - Y(j);

            % Save old alphas
            alpha_i_old = alphas(i);
            alpha_j_old = alphas(j);

            % Compute L and H by (10) or (11). 
            if (Y(i) == Y(j)),
                L = max(0, alphas(j) + alphas(i) - C);
                H = min(C, alphas(j) + alphas(i));
            else
                L = max(0, alphas(j) - alphas(i));
                H = min(C, C + alphas(j) - alphas(i));
            end

            if (L == H),
                % continue to next i. 
                continue;
            end

            % Compute eta by (14).
            eta = 2 * K(i,j) - K(i,i) - K(j,j);
            if (eta >= 0),
                % continue to next i. 
                continue;
            end

            % Compute and clip new value for alpha j using (12) and (15).
            alphas(j) = alphas(j) - (Y(j) * (E(i) - E(j))) / eta;

            % Clip
            alphas(j) = min (H, alphas(j));
            alphas(j) = max (L, alphas(j));

            % Check if change in alpha is significant
            if (abs(alphas(j) - alpha_j_old) < tol),
                % continue to next i. 
                % replace anyway
                alphas(j) = alpha_j_old;
                continue;
            end

            % Determine value for alpha i using (16). 
            alphas(i) = alphas(i) + Y(i)*Y(j)*(alpha_j_old - alphas(j));

            % Compute b1 and b2 using (17) and (18) respectively. 
            b1 = b - E(i) ...
                 - Y(i) * (alphas(i) - alpha_i_old) *  K(i,j)' ...
                 - Y(j) * (alphas(j) - alpha_j_old) *  K(i,j)';
            b2 = b - E(j) ...
                 - Y(i) * (alphas(i) - alpha_i_old) *  K(i,j)' ...
                 - Y(j) * (alphas(j) - alpha_j_old) *  K(j,j)';

            % Compute b by (19). 
            if (0 < alphas(i) && alphas(i) < C),
                b = b1;
            elseif (0 < alphas(j) && alphas(j) < C),
                b = b2;
            else
                b = (b1+b2)/2;
            end

            num_changed_alphas = num_changed_alphas + 1;

        end

    end

    if (num_changed_alphas == 0),
        passes = passes + 1;
    else
        passes = 0;
    end

    fprintf('.');
    dots = dots + 1;
    if dots > 78
        dots = 0;
        fprintf('\n');
    end
    if exist('OCTAVE_VERSION')
        fflush(stdout);
    end
end
fprintf(' Done! \n\n');

% Save the model
idx = alphas > 0;
model.X= X(idx,:);
model.y= Y(idx);
model.kernelFunction = kernelFunction;
model.b= b;
model.alphas= alphas(idx);
model.w = ((alphas.*Y)'*X)';

end
  
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
   12
   13
   14
   15
   16
   17
   18
   19
   20
   21
   22
   23
   24
   25
   26
   27
   28
   29
   30
   31
   32
   33
   34
   35
   36
   37
   38
   39
   40
   41
   42
   43
   44
   45
   46
   47
   48
   49
   50
   51
   52
   53
   54
   55
   56
   57
   58
   59
   60
   61
   62
   63
   64
   65
   66
   67
   68
   69
   70
   71
   72
   73
   74
   75
   76
   77
   78
   79
   80
   81
   82
   83
   84
   85
   86
   87
   88
   89
   90
   91
   92
   93
   94
   95
   96
   97
   98
   99
   100
   101
   102
   103
   104
   105
   106
   107
   108
   109
   110
   111
   112
   113
   114
   115
   116
   117
   118
   119
   120
   121
   122
   123
   124
   125
   126
   127
   128
   129
   130
   131
   132
   133
   134
   135
   136
   137
   138
   139
   140
   141
   142
   143
   144
   145
   146
   147
   148
   149
   150
   151
   152
   153
   154
   155
   156
   157
   158
   159
   160
   161
   162
   163
   164
   165
   166
   167
   168
   169
   170
   171
   172
   173
   174
   175
   176
   177
   178
   179
   180
   181
   182
   183
   184
   185
   186
   187
   188
   189
   190
   191
   192

命令列執行一下，看分類的效果：

C = 1;
model = svmTrain(X, y, C, @linearKernel, 1e-3, 20);
visualizeBoundaryLinear(X, y, model);
  
   1
   2
   3

我們改變一下C的值，看看效果：

C=1：這裡寫圖片描述
C=100：受噪點的影響好大
C=0.1：太少又可能引起欠擬合

帶高斯核心的SVM

核心公式：

這裡寫圖片描述

實現一下高斯核的計算：

function sim = gaussianKernel(x1, x2, sigma)
%RBFKERNEL returns a radial basis function kernel between x1 and x2
%   sim = gaussianKernel(x1, x2) returns a gaussian kernel between x1 and x2
%   and returns the value in sim

% Ensure that x1 and x2 are column vectors
x1 = x1(:); x2 = x2(:);

% You need to return the following variables correctly.
sim = 0;

% ====================== YOUR CODE HERE ======================
% Instructions: Fill in this function to return the similarity between x1
%               and x2 computed using a Gaussian kernel with bandwidth
%               sigma
%
%

x = x1-x2;
sim = exp(-(x'*x)/(2*sigma*sigma));

% =============================================================

end
  
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
   12
   13
   14
   15
   16
   17
   18
   19
   20
   21
   22
   23
   24

看一下帶高斯核的SVM的分類效果：

Code（命令列執行以下程式碼）：

load('ex6data2.mat');

% SVM Parameters
C = 1; sigma = 0.1;

% We set the tolerance and max_passes lower here so that the code will run
% faster. However, in practice, you will want to run the training to
% convergence.
model= svmTrain(X, y, C, @(x1, x2) gaussianKernel(x1, x2, sigma)); 
visualizeBoundary(X, y, model);
  
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10

效果圖：

這裡寫圖片描述

關於引數C和λ的選取：

我們用一個新的訓練集來介紹這個問題，執行：

% Load from ex6data3: 
% You will have X, y in your environment
load('ex6data3.mat');

% Plot training data
plotData(X, y);
  
   1
   2
   3
   4
   5
   6

效果圖：

這裡寫圖片描述

這裡我們用函式來自動選擇一個合適的C和λ值（dataset3Params.m）：

function [C, sigma] = dataset3Params(X, y, Xval, yval)
%DATASET3PARAMS returns your choice of C and sigma for Part 3 of the exercise
%where you select the optimal (C, sigma) learning parameters to use for SVM
%with RBF kernel
%   [C, sigma] = DATASET3PARAMS(X, y, Xval, yval) returns your choice of C and 
%   sigma. You should complete this function to return the optimal C and 
%   sigma based on a cross-validation set.
%

% You need to return the following variables correctly.
C = 1;
sigma = 0.3;

% ====================== YOUR CODE HERE ======================
% Instructions: Fill in this function to return the optimal C and sigma
%               learning parameters found using the cross validation set.
%               You can use svmPredict to predict the labels on the cross
%               validation set. For example, 
%                   predictions = svmPredict(model, Xval);
%               will return the predictions on the cross validation set.
%
%  Note: You can compute the prediction error using 
%        mean(double(predictions ~= yval))
%

%初始化錯誤率為100%
wrong = 1;

%依次列舉並更新
eg = [0.01, 0.03, 0.1, 0.3, 1, 3, 10, 30];
for i = 1:length(eg)
    for j = 1:length(eg)
        model= svmTrain(X, y, eg(i), @(x1, x2) gaussianKernel(x1, x2, eg(j)));
        predictions = svmPredict(model, Xval);
        twrong = mean(double(predictions ~= yval));

        %如果得到的錯誤率更小，就更新
        if (twrong < wrong)
            wrong = twrong;
            C = eg(i);
            sigma = eg(j);
        end
    end
end

% =========================================================================

end
  
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
   12
   13
   14
   15
   16
   17
   18
   19
   20
   21
   22
   23
   24
   25
   26
   27
   28
   29
   30
   31
   32
   33
   34
   35
   36
   37
   38
   39
   40
   41
   42
   43
   44
   45
   46
   47
   48

然後再畫圖看看，執行：

model= svmTrain(X, y, C, @(x1, x2) gaussianKernel(x1, x2, sigma));
visualizeBoundary(X, y, model);
  
   1
   2

效果：

這裡寫圖片描述

最後碼一下預測的函式（svmPredict.m）：

function pred = svmPredict(model, X)
%SVMPREDICT returns a vector of predictions using a trained SVM model
%(svmTrain). 
%   pred = SVMPREDICT(model, X) returns a vector of predictions using a 
%   trained SVM model (svmTrain). X is a mxn matrix where there each 
%   example is a row. model is a svm model returned from svmTrain.
%   predictions pred is a m x 1 column of predictions of {0, 1} values.
%

% Check if we are getting a column vector, if so, then assume that we only
% need to do prediction for a single example
if (size(X, 2) == 1)
    % Examples should be in rows
    X = X';
end

% Dataset 
m = size(X, 1);
p = zeros(m, 1);
pred = zeros(m, 1);

if strcmp(func2str(model.kernelFunction), 'linearKernel')
    % We can use the weights and bias directly if working with the 
    % linear kernel
    p = X * model.w + model.b;
elseif strfind(func2str(model.kernelFunction), 'gaussianKernel')
    % Vectorized RBF Kernel
    % This is equivalent to computing the kernel on every pair of examples
    X1 = sum(X.^2, 2);
    X2 = sum(model.X.^2, 2)';
    K = bsxfun(@plus, X1, bsxfun(@plus, X2, - 2 * X * model.X'));
    K = model.kernelFunction(1, 0) .^ K;
    K = bsxfun(@times, model.y', K);
    K = bsxfun(@times, model.alphas', K);
    p = sum(K, 2);
else
    % Other Non-linear kernel
    for i = 1:m
        prediction = 0;
        for j = 1:size(model.X, 1)
            prediction = prediction + ...
                model.alphas(j) * model.y(j) * ...
                model.kernelFunction(X(i,:)', model.X(j,:)');
        end
        p(i) = prediction + model.b;
    end
end

% Convert predictions into 0 / 1
pred(p >= 0) =  1;
pred(p <  0) =  0;

end


  
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
   12
   13
   14
   15
   16
   17
   18
   19
   20
   21
   22
   23
   24
   25
   26
   27
   28
   29
   30
   31
   32
   33
   34
   35
   36
   37
   38
   39
   40
   41
   42
   43
   44
   45
   46
   47
   48
   49
   50
   51
   52
   53
   54
   55

					<link href="https://csdnimg.cn/release/phoenix/mdeditor/markdown_views-778f64ae39.css" rel="stylesheet">
            </div>
								<div class="hide-article-box text-center">
					<a class="btn" id="btn-readmore" data-track-view="{&quot;mod&quot;:&quot;popu_376&quot;,&quot;con&quot;:&quot;,https://blog.csdn.net/wyg1997/article/details/80791206,&quot;}" data-track-click="{&quot;mod&quot;:&quot;popu_376&quot;,&quot;con&quot;:&quot;,https://blog.csdn.net/wyg1997/article/details/80791206,&quot;}">閱讀更多</a>
				</div>
				<script>
					(function(){
						function setArticleH(btnReadmore,posi){
							var winH = $(window).height();
							var articleBox = $("div.article_content");
							var artH = articleBox.height();
							if(artH > winH*posi){
								articleBox.css({
									'height':winH*posi+'px',
									'overflow':'hidden'
								})
								btnReadmore.click(function(){
									articleBox.removeAttr("style");
									$(this).parent().remove();
								})
							}else{
								btnReadmore.parent().remove();
							}
						}
						var btnReadmore = $("#btn-readmore");
						if(btnReadmore.length>0){
							if(currentUserName){
								setArticleH(btnReadmore,3);
							}else{
								setArticleH(btnReadmore,1.2);
							}
						}
					})()
				</script>
				</article>

吳恩達機器學習 - 支援向量機(SVM) 吳恩達機器學習 - 支援向量機(SVM)

原吳恩達機器學習 - 支援向量機(SVM) 2018年06月24日 14:40:42 離殤灬孤狼閱讀數：218 更多

機器學習筆記（八）-吳恩達視訊課程（支援向量機SVM）

1.支援向量機的優化目標以下是新建的 SVM 的影象，左邊為y=1時，右邊為y=0時然後進行轉換 2.SVM 被看做大邊界分類器（大間距）的情況在y=1時， >= 1 代價函式為0 在y=0時， <=-

SVM支援向量機（吳恩達課程筆記）

支援向量機（support vector machine）大概是機器學習中最熱門的演算法之一，但同時也是最難懂的演算法之一。最近看了吳恩達的課程，雖講的比較淺顯，但對於初學者來說不失為一個入門的好路徑。 1. Optimization objective 目標

Coursera 深度學習吳恩達 deep learning.ai 筆記整理（3-2）——機器學習策略

新的 bsp 誤差 spa 歸納空間 font 處理整理一、誤差分析定義：有時我們希望算法能夠勝任人類能做的任務，但是當算法還沒達到人類所預期的性能時，人工檢查算法錯誤會讓你知道接下來做什麽，這也就是誤差分析檢查，發現會把夠狗當恒，是否需要做一個項目專門處理狗

[吳恩達機器學習筆記]11機器學習系統設計5數據量對機器學習的影響

ril 預測數據教程擬合 mic 因此效果數據集 11. 機器學習系統的設計覺得有用的話,歡迎一起討論相互學習~Follow Me 參考資料斯坦福大學 2014 機器學習教程中文筆記 by 黃海廣 11.5 數據量對機器學習的影響 Data For Mac

吳恩達機器學習（第十四章）---無監督學習kmeans演算法

一、kmeans演算法 Kmeans演算法的流程： 1.根據我們要分的類別數，就是你要將資料分成幾類（k類），隨機初始化k個點（暫且稱為類別點） 2.計算每個資料點到k個類別點的距離，將其歸類到距離最近的那個類別點 3.計算每一類中包含的資料點的位置的平均值，比如，包含a(x1，y1

吳恩達機器學習 - PCA演算法降維吳恩達機器學習 - PCA演算法降維

原吳恩達機器學習 - PCA演算法降維 2018年06月25日 13:08:17 離殤灬孤狼閱讀數：152 更多

吳恩達機器學習-多變數線性迴歸吳恩達機器學習 - 多變數線性迴歸

原吳恩達機器學習 - 多變數線性迴歸 2018年06月18日 17:50:26 離殤灬孤狼閱讀數：84 收起

吳恩達機器學習 - 邏輯迴歸——多元分類吳恩達機器學習 - 邏輯迴歸——多元分類

原吳恩達機器學習 - 邏輯迴歸——多元分類 2018年06月19日 20:47:49 離殤灬孤狼閱讀數：98 更多

機器學習筆記（六）-吳恩達視訊課程（神經網路學習二）

1.代價函式神經網路層數L，表示L層（最後一層）神經元個數，表示每層的輸出神經元數二類分類：=1 輸出層有一個神經元，輸出的y是一個實數 y = 0 or 1 表示類別多類別分類：一共有K類，則=K，輸出層有K個神經元，&nbs

機器學習筆記（二）吳恩達課程視訊

多元變數線性迴歸 1.多維特徵： 2.多元梯度下降：代價函式：（目標與單變數一致，要找出使代價函式最小的一系列引數）梯度下降演算法：梯度下降演算法——特徵縮放：除了固定以外，的值都要變成[-1,1]範圍左右之間的取值，不僅僅

《機器學習（周志華）》——第6章支援向量機

1、間隔與支援向量（1）分類學習的最基本思想就是：基於訓練集D在樣本空間中找到一個劃分超平面，將不同類別的樣本分開。（2）在樣本空間中，用線性方程來表示劃分超平面：ωTx + b = 0 ；其中ω = (ω1;ω2; … ; ωd)為法向量，決定超平面內的方向；b

機器學習系列：（九）從感知器到支援向量機

下圖顯示了兩種線性可分的型別的樣本集和三種可能的決策邊界。所有的決策邊界都可以把樣本集分成陽性與陰性兩種型別，感知器可以學習任何一種邊界。那麼，哪個決策邊界對測試集資料的測試效果最好呢？觀察圖中三條決策邊界，我們會直觀的認為點線是最佳邊界。實線決策邊界接近許多陽性型別樣本。測試集中如果包含第一個解釋變數

學習筆記——吳恩達-機器學習課程-1.3 用神經網路進行監督學習

神經網路有時媒體炒作的很厲害，考慮到它們的使用效果，有些說法還是靠譜的，事實上到目前為止，幾乎所有的神經網路創造的經濟價值都基於其中一種機器學習，我們稱之為“監督學習”，那是什麼意思呢？我們來看一些例子，在監督學習中輸入x，習得一個函式

吳恩達《深度學習》第一門課（1）深度學習引言

數據規模梯度神經網絡以及應該精確構建關於 http 1.1歡迎主要講了五門課的內容：第一門課：神經網絡基礎，構建網絡等；第二門課：神經網絡的訓練技巧；第三門課：構建機器學習系統的一些策略，下一步該怎麽走（吳恩達老師新書《Machine Learning

47.端到端學習的興起翻譯自吳恩達新書-Machine Learning Yearning

假如你正在構建一個機器學習系統，這個系統可以檢查線上的產品評論，然後告訴你評論者是否喜歡對應的產品。比如，你希望將下面的例子識別成正例：這個拖把非常棒或者把下面這句識別成負例：這個拖把質量非常差，買了非常後悔。這種識別正例/負例的問題稱作情感分類。為

吳恩達深度學習2.1筆記_Improving Deep Neural Networks_深度學習的實踐層面

版權宣告：本文為博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/weixin_42432468 學習心得： 1、每週的視訊課程看一到兩遍 2、做筆記 3、做每週的作業練習，這個裡面的含金量非常高。先根據notebook過一遍，掌握後一定要自己敲一遍，

《SVM筆記系列之六》支援向量機中的核技巧那些事兒

《SVM筆記系列之六》支援向量機中的核技巧那些事兒前言我們在前文[1-5]中介紹了線性支援向量機的原理和推導，涉及到了軟和硬的線性支援向量機，還有相關的廣義拉格朗日乘數法和KKT條件等。然而，光靠著前面介紹的這些內容，只能夠對近似於線性可分的資料進行分割，而不能對非線性的資料

SVM支援向量機系列理論（七）線性支援向量機與L2正則化 Platt模型

7.1 軟間隔SVM等價於最小化L2正則的合頁損失上一篇說到， ξi ξ i \xi_i 表示偏離邊界的度量，若樣本點

SVM支援向量機系列理論（三）非線性支援向量機與核函式技巧

3.1 核技巧解決非線性SVM 3.1.1 非線性SVM解決思路 3.1.2 核技巧下SVM 3.2 Mercer核

吳恩達機器學習 - 支援向量機(SVM) 吳恩達機器學習 - 支援向量機(SVM)

吳恩達機器學習 - 支援向量機(SVM)

筆記：

無核SVM

資料視覺化：

Code（命令列）:

效果圖：

訓練

Code（這個是寫好的程式碼，碼一下以後可以直接用）：

命令列執行一下，看分類的效果：

我們改變一下C的值，看看效果：

帶高斯核心的SVM

核心公式：

實現一下高斯核的計算：

看一下帶高斯核的SVM的分類效果：

Code（命令列執行以下程式碼）：

效果圖：

關於引數C和λ的選取：

我們用一個新的訓練集來介紹這個問題，執行：

效果圖：

這裡我們用函式來自動選擇一個合適的C和λ值（dataset3Params.m）：

然後再畫圖看看，執行：

效果：

最後碼一下預測的函式（svmPredict.m）：

相關推薦