影象分類問題：就是已有固定的分類標籤集合，然後對於輸入的影象，從分類的標籤集合中找到一個分類標籤，最後把分類標籤分配給該輸入影象。也就是給定一個影象，預測它屬於的那個分類標籤。

Nearest Neighbir 分類器

需衡量樣本間的距離，就是將兩張圖片先轉化為兩個向量I1和I2，然後計算他們的距離（針對所有的畫素）。

用L1距離作為例子：

L1距離（曼哈頓距離）：

L2距離（歐式距離）：

k-Nearest Neighbor分類器

找最相似的k個圖片的標籤，然後讓他們針對測試圖片進行投票，最後把票數最高的標籤作為對測試圖片的預測。所以當k=1的時候，k-Nearest Neighbor分類器就是Nearest Neighbor分類器。

N折交叉驗證：將訓練集平均分成5份，其中4份用來訓練，1份用來驗證。然後我們迴圈著取其中4份來訓練，其中1份來驗證，最後取所有5次驗證結果的平均值作為演算法驗證結果。

NN分類器的優點：易於理解實現簡單。

                   缺點：要記錄全部的訓練資料，演算法測試速度超級慢，過於依賴特徵（影象特徵不好找）因而準確率不高。

Tensorflow實現KNN演算法：(k=1)

這裡10000條資料的784個畫素分別減去200條測試樣本的每一條（一次迴圈匯入一條）

[[1,...,784],

[1,...,784],

.

.

.

[1,...,784]]

import numpy as np
import tensorflow as tf

#load data
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)

#選擇1000條候選樣本，200條測試樣本，測試樣本跟候選樣本比較得到最近的K個樣本，則k個樣本的標籤大多數為某一類，測試樣本就為哪一類。

Xtr, Ytr = mnist.train.next_batch(10000)
Xte, Yte = mnist.train.next_batch(200)

#TF Graph Input 佔位符 用來feed資料
xtr = tf.placeholder(tf.float32, [None,784])
xte = tf.placeholder(tf.float32, [784])

#最近鄰使用L1距離（曼哈頓距離）
distance = tf.reduce_sum(tf.abs(tf.add(xtr, tf.negative(xte))), reduction_indices=1)

#預測
pred = tf.arg_min(distance, 0)

accuracy = 0

#初始化
sess = tf.Session()
                               
sess.run(tf.global_variables_initializer())

#
for i in range(len(Xte)):
    # Get nearest neighbor
    nn_index = sess.run(pred, feed_dict={xtr: Xtr, xte: Xte[i, :]})  #每次迴圈feed資料，候選Xtr全部，測試集Xte一次迴圈輸入一條
    # 獲得與測試樣本最近樣本的類別，計算與真實類別的誤差
    if i % 10 ==0:
        print("Test", i, "Prediction:", np.argmax(Ytr[nn_index]), "True Class:", np.argmax(Yte[i]))
    # 計算誤差率
    if np.argmax(Ytr[nn_index]) == np.argmax(Yte[i]):
        accuracy += 1. / len(Xte)
print('Done!')
print("Accuracy:", accuracy)
 

結果：

Test 0 Prediction: 8 True Class: 8

Test 10 Prediction: 0 True Class: 0

Test 20 Prediction: 4 True Class: 4

Test 30 Prediction: 3 True Class: 3

Test 40 Prediction: 2 True Class: 2

Test 50 Prediction: 4 True Class: 4

Test 60 Prediction: 3 True Class: 3

Test 70 Prediction: 8 True Class: 8

Test 80 Prediction: 1 True Class: 1

Test 90 Prediction: 5 True Class: 5

Test 100 Prediction: 6 True Class: 6

Test 110 Prediction: 2 True Class: 2

Test 120 Prediction: 3 True Class: 3

Test 130 Prediction: 5 True Class: 5

Test 140 Prediction: 8 True Class: 8

Test 150 Prediction: 8 True Class: 8

Test 160 Prediction: 4 True Class: 4

Test 170 Prediction: 2 True Class: 2

Test 180 Prediction: 6 True Class: 6

Test 190 Prediction: 8 True Class: 8

Done!

Accuracy: 0.9400000000000007