2. 程式人生 > >MatLab2012b/MatLab2013b 分類器大全(svm,knn,隨機森林等)

MatLab2012b/MatLab2013b 分類器大全(svm,knn,隨機森林等)

阿新 • • 發佈：2019-02-17
train_data是訓練特徵資料, train_label是分類標籤。
Predict_label是預測的標籤。
MatLab訓練資料, 得到語義標籤向量 Scores(概率輸出)。


1.邏輯迴歸(多項式MultiNomial logistic Regression)
Factor = mnrfit(train_data, train_label);
Scores = mnrval(Factor, test_data);
scores是語義向量(概率輸出)。對高維特徵，吃不消。


2.隨機森林分類器（Random Forest）
Factor = TreeBagger(nTree, train_data, train_label);

[Predict_label,Scores] = predict(Factor, test_data);
scores是語義向量(概率輸出)。實驗中nTree = 500。
效果好，但是有點慢。2500行資料，耗時400秒。500萬行大資料分析，會咋樣？準備好一篇小說慢慢閱讀吧^_^


3.樸素貝葉斯分類（Naive Bayes）
Factor = NaiveBayes.fit(train_data, train_label);
Scores = posterior(Factor, test_data);
[Scores,Predict_label] = posterior(Factor, test_data);
Predict_label = predict(Factor, test_data);

accuracy = length(find(predict_label == test_label))/length(test_label)*100;
效果不佳。


4. 支援向量機SVM分類
Factor = svmtrain(train_data, train_label);
predict_label = svmclassify(Factor, test_data);
不能有語義向量 Scores(概率輸出)


支援向量機SVM(Libsvm)
Factor = svmtrain(train_label, train_data, '-b 1');
[predicted_label, accuracy, Scores] = svmpredict(test_label, test_data, Factor, '-b 1');



5.K近鄰分類器 （KNN）
predict_label = knnclassify(test_data, train_data,train_label, num_neighbors);
accuracy = length(find(predict_label == test_label))/length(test_label)*100;
不能有語義向量 Scores(概率輸出)


IDX = knnsearch(train_data, test_data);
IDX = knnsearch(train_data, test_data, 'K', num_neighbors);
[IDX, Dist] = knnsearch(train_data, test_data, 'K', num_neighbors);
IDX是近鄰樣本的下標集合，Dist是距離集合。
自己編寫, 實現概率輸出 Scores(概率輸出)


Matlab 2012新版本:
Factor = ClassificationKNN.fit(train_data, train_label, 'NumNeighbors', num_neighbors);
predict_label = predict(Factor, test_data);
[predict_label, Scores] = predict(Factor, test_data);


6.整合學習器（Ensembles for Boosting, Bagging, or Random Subspace）
Matlab 2012新版本:
Factor = fitensemble(train_data, train_label, 'AdaBoostM2', 100, 'tree');
Factor = fitensemble(train_data, train_label, 'AdaBoostM2', 100, 'tree', 'type', 'classification');
Factor = fitensemble(train_data, train_label, 'Subspace', 50, 'KNN');
predict_label = predict(Factor, test_data);
[predict_label, Scores] = predict(Factor, test_data);
效果比預期差了很多。不佳。


7. 判別分析分類器（discriminant analysis classifier）
Factor = ClassificationDiscriminant.fit(train_data, train_label);
Factor = ClassificationDiscriminant.fit(train_data, train_label, 'discrimType', '判別型別:偽線性...');
predict_label = predict(Factor, test_data);

[predict_label, Scores] = predict(Factor, test_data);

轉載自：http://blog.csdn.net/xuhaijiao99/article/details/15027093

相關推薦

MatLab2012b/MatLab2013b 分類器大全(svm,knn,隨機森林等)

train_data是訓練特徵資料, train_label是分類標籤。Predict_label是預測的標籤。MatLab訓練資料, 得到語義標籤向量 Scores(概率輸出)。1.邏輯迴歸(多項式MultiNomial logistic Regression)Facto

OpenCV3 SVM ANN Adaboost KNN 隨機森林等機器學習方法對OCR分類

轉摘自http://www.cnblogs.com/denny402/p/5032839.html opencv3中的ml類與opencv2中發生了變化，下面列舉opencv3的機器學習類方法例項： 用途是opencv自帶的ocr樣本的分類功能，其中神經網路和adaboost訓練速度很慢，效

決策樹decision tree+SVM+knn+隨機森林+高斯貝葉斯

很多分類器的用法都相似的，下面針對一個訓練集（特徵向量+類別） 介紹幾種常用的分類器方法： 資料集的介紹： kaggle 中 泰坦尼克號的資料集，通過某些特徵提取的方法構造成清洗後的資料集，同時按相同的處理方法處理測試集。 七個特徵屬性+一個決策屬性 不同分類器方法的用法： XTrain與Y

Opencv Python版學習筆記 字元識別-分類器（SVM，KNearest，RTrees，Boost，MLP）

Opencv提供了幾種分類器，例程裡通過字元識別來進行說明的 1、支援向量機（SVM）：給定訓練樣本，支援向量機建立一個超平面作為決策平面，使得正例和反例之間的隔離邊緣被最大化。 函式原型：訓練原型 cv2.SVM.train(trainData, responses[, varIdx[,

cs231學習筆記二 線性分類器、SVM、Softmax

線性分類器 假設樣本xi∈RD,i=1…N，對應類標籤yi∈1…K。現定義一個線性對映f(xi,W,b)=Wxi+b，W是K∗D的矩陣，b是K維的向量。W和b分別稱作權重（或引數）和偏。 W的每一行都是一個分類器，每個分類器對應於一個得分。 通過學

機器學習之分類器——Matlab中各種分類器的使用總結（隨機森林、支援向量機、K近鄰分類器、樸素貝葉斯等）

      Matlab中常用的分類器有隨機森林分類器、支援向量機（SVM）、K近鄰分類器、樸素貝葉斯、整合學習方法和鑑別分析分類器等。各分類器的相關Matlab函式使用方法如下：首先對以下介紹中所用到的一些變數做統一的說明：    train_data——訓練樣本，矩陣的每

CS231n課程筆記3.1：線性分類器（SVM，softmax）的誤差函式、正則化

CS231n簡介 課程筆記 這篇是線性分類器的第二部分，回憶線性分類器的線性體現在score的獲得，即score = Wx+b，然後predict_label = argmax(score)。具體細節以及關於線性分類器的解釋請參考CS231n課程筆記

Matlab自帶的分類學習工具箱（SVM、決策樹、Knn等分類器）

在matlab中，既有各種分類器的訓練函式，比如“fitcsvm”，也有圖形介面的分類學習工具箱，裡面包含SVM、決策樹、Knn等各類分類器，使用非常方便。接下來講講如何使用。 啟動： 點選“應用程式”，在面板中找到“Classification Lea

【轉】SVM入門（六）線性分類器的求解——問題的轉化，直觀角度

content cli 樣本 image ges 五個 是你 角度 spa SVM入門（六）線性分類器的求解——問題的轉化，直觀角度 讓我再一次比較完整的重復一下我們要解決的問題：我們有屬於兩個類別的樣本點（並不限定這些點在二維空間中）若幹，如圖， 圓形的樣本點定為正樣

Regularized least-squares classification（正則化最小二乘法分類器）取代SVM

得出 ack 提高 kernel sys 風險 重要 ref height 在機器學習或者是模式識別其中有一種重要的分類器叫做：SVM 。這個被廣泛的應用於各個領域。可是其計算的復雜度以及訓練的速度是制約其在實時的計算機應用的主要原因。因此也非常非常多的算法

機器學習-KNN分類器

pos show sha key borde 不同 簡單的 測試 solid 1. K-近鄰(k-Nearest Neighbors，KNN)的原理 通過測量不同特征值之間的距離來衡量相似度的方法進行分類。 2. KNN算法過程 訓練樣本集：樣本集中每個特征值都

『科學計算』從Logistic回歸到SVM分類器

zoom ram edi 情況下 投影 導出 bmp 幾何 sig 轉自：http://blog.csdn.net/v_july_v/article/details/7624837 前言 動筆寫這個支持向量機(support vector machine)是費了不少

基於SVM的分類器Python實現

比較 sort load 自帶 rain 分析 python實現 see 基於 本文代碼來之《數據分析與挖掘實戰》，在此基礎上補充完善了一下~ 代碼是基於SVM的分類器Python實現，原文章節題目和code關系不大，或者說給出已處理好數據的方法缺失、源是圖像數據更是不見蹤

【火爐煉AI】機器學習051-視覺詞袋模型+極端隨機森林建立圖像分類器

函數 自然語言處理 3.6 權重 www. 語言 tar 一行 序列 【火爐煉AI】機器學習051-視覺詞袋模型+極端隨機森林建立圖像分類器 (本文所使用的Python庫和版本號: Python 3.6, Numpy 1.14, scikit-learn 0.19, mat

分類器設計之線性分類器和線性SVM(含Matlab程式碼)

對於高維空間的兩類問題，最直接的方法是找到一個最佳的分類超平面，使得並且,對於所有的正負訓練樣本和. 因此，以上問題可以表達為： 問題P0可以轉化為 兩邊除以\epsilon，並且做變數替換，最終得到下面的線性規化（linear programming

利用Hog特徵和SVM分類器進行行人檢測

https://blog.csdn.net/qianqing13579/article/details/46509037 梯度直方圖特徵(HOG) 是一種對影象區域性重疊區域的密集型描述符, 它通過計算區域性區域的梯度方向直方圖來構成特徵。Hog特徵結合SVM分類器已經被廣

隨機梯度下降分類器和回歸器

gis arc 指標 from alt cal gin del 設置 隨機梯度下降分類器並不是一個獨立的算法，而是一系列利用隨機梯度下降求解參數的算法的集合。 SGDClassifier（分類）: from sklearn.linear_model import SGDCl

機器學習筆記（六）：KNN分類器

1 KNN演算法 1.1 KNN演算法簡介 KNN（K-Nearest Neighbor）工作原理：存在一個樣本資料集合，也稱為訓練樣本集，並且樣本集中每個資料都存在標籤，即我們知道樣本集中每一資料與所屬分類對應的關係。輸入沒有標籤的資料後，將新資料中的每個特徵與樣本集中資料對應的特

利用 sklearn SVM 分類器對 IRIS 資料集分類

利用 sklearn SVM 分類器對 IRIS 資料集分類 支援向量機（SVM）是一種最大化分類間隔的線性分類器（如果不考慮核函式）。通過使用核函式可以用於非線性分類。SVM 是一種判別模型，既適用於分類也適用於迴歸問題，標準的 SVM 是二分類器，可以採用 “one vs one”

15 SVM - 程式碼案例二 - 鳶尾花資料不同分類器效果比較

SVM的章節已經講完，具體內容請參考：《01 SVM - 大綱》 《14 SVM - 程式碼案例一 - 鳶尾花資料SVM分類》 回顧案例一中的標頭檔案： import numpy as np import pandas as pd import matplotlib as mpl import matp