1. 程式人生 > >k-折交叉驗證(k-fold crossValidation)

k-折交叉驗證(k-fold crossValidation)

十折交叉驗證

(1)英文名叫做10-fold cross-validation,用來測試演算法準確性,是常用的測試方法。

(2)將資料集分成十份,輪流將其中9份作為訓練資料,1份作為測試資料,進行試驗。每次試驗都會得出相應的正確率(或差錯率)。

(3)10次的結果的正確率(或差錯率)的平均值作為對演算法精度的估計,一般還需要進行多次10折交叉驗證(例如10次10折交叉驗證),再求其均值,作為對演算法準確性的估計。

例子:利用十折交叉驗證計算錯誤分類率

(Matlab內建了由Fisher在1936年釋出的關於iris的資料集,鳩尾花的分類,詳見UCI連結;載入該資料集,包括means和species,分別是四維的150個樣本和對應的類別)

load fisheriris
indices = crossvalind('Kfold',species,10); 
cp = classperf(species); 
for i = 1:10
      test = (indices == i); train = ~test;    %分別取第1、2、...、10份為測試集,其餘為訓練集
      class = classify(meas(test,:),meas(train,:),species(train,:));
      classperf(cp,class,test);
end
cp.ErrorRate     %查詢錯誤分類率

 相關函式解釋:

Indices = crossvalind('Kfold', N, K)

1)引數'Kfold'表明為了K折十字交叉驗證,把資料集N隨機分成平均的(或近似評價的)K份,Indices中為每個樣本所屬部分的索引(從1到K)
2)因為是隨機分,因此重複呼叫會產生不同分法。
3)在K折十字交叉驗證中,K-1份被用做訓練,剩下的1份用來測試,這個過程被重複K次。

cp = classperf(truelabels)

1)classperf是評估分類器效能(Evaluate performance of classifie)函式。

2)truelabels中為每個樣本對應的真實類別,建立並初始化一個空的分類器效能物件CP。

3)classperf provides an interface to keep track of the performance during the validation of classifiers. classperf creates and, optionally, updates a classifier performance object, CP, which accumulates the results of the classifier.

class = classify(sample,training,group)

1)classify是判別分析(Discriminant Analysis)函式。

2)若事先已經建立類別,則使用判別分析;若事先沒有建立類別,則使用聚類分析。一般地,若已有給定的若干總體的(即若干類別)的觀測資料,希望構造一個或多個判別函式,能由此函式對新的位置其所屬總體的樣品作出判斷,從而決定其應屬於哪個總體,這就是判別分析問題。

3)判別分析是利用原有的分類資訊,得到判別函式(判別函式關係式,一般是與分類相關的若干個指標的線性關係式),然後利用 該函式去判斷未知樣品屬於哪一類。因此,這是一個學習與預測的過程。常用的判別分析法有距離判別法、費歇爾判別法、貝葉斯判別法等。

4)matlab中語法:class = classify(sample,training,group) ,預設線性判別分析,將sample的每個樣本進行判別,分到trainning指定的類中,返回該類表作為分類結果。還可以用引數type指定判別分析法。

classperf(cp, classout, testidx)

1)根據分類結果,更新分類器效能物件CP。

2)在十折交叉驗證法中,就是重複10次,可累積得到總的錯誤分類率。