k近鄰演算法(K-Nearest Neighbor)
阿新 • • 發佈:2019-01-10
k近鄰是一種常用的分類與迴歸演算法,其原理比較簡單
基本思想
給定一個訓練資料集,其中的例項的類別已定,對於新的例項,根據其K個距離最短的訓練例項的類別出現的頻率,對新的例項進行預測。
距離計算
歐式距離
曼哈頓距離
K的取值
K值的選擇對k近鄰法的結果產生重大影響
K值較小,近似誤差會減小,估計誤差會增大,意味著整體模型變得複雜,產生過擬合。
K值較大,近似誤差會增大,估計誤差會減少,模型簡單,容易是預測發生錯誤。
實際應用中,K值一般取一個比較小的值,在採用交叉驗證來逐步調整K值,最終選擇適合該樣本的最優的K值。
KNN演算法實現
演算法基本步驟:
1)計算待分類點與已知類別的點之間的距離
2)按照距離遞增次序排序
3)選取與待分類點距離最小的k個點
4)確定前k個點所在類別的出現次數
5)返回前k個點出現次數最高的類別作為待分類點的預測分類
Code
#kNN.py
from numpy import *
import operator
def createDataSet():
group = array([[1.0, 1.1, 1.2], [1.2, 1.0, 1.1], [1.1, 1.2, 1.0], [0.1, 0.5, 0.7], [0.2, 0,1, 0.3], [2.1, 2.0, 2.1]])
labels = ["AAA" , "AAA", "BBB", "BBB", "CCC"]
return group,labels
def classfity(sampleX, dataSet, labels, k):
dataSetSize = len(dataSet)
diffMat = tile(sampleX, (dataSetSize, 1)) - dataSet
sqDiffMat = diffMat ** 2
sqDistances = sqDiffMat.sum(axis =1)
distances = sqDistances ** 0.5
sortedDistIndicies = distances.argsorts()
classCount = {}
for i in range(k):
voteIlabel = labels[sortedDistIndicies[i]]
classCount[voteIlabel] = classCount.get(voteIlabel, 0) + 1
sortedClassCount = sorted(classCount.items(), key = operator.itemgetter(1), reverse = True)
return sortedClassCount[0][0]