2. 程式人生 > >KNN(k-nearest neighbors) K近鄰演算法深入

KNN(k-nearest neighbors) K近鄰演算法深入

阿新 • • 發佈：2018-11-19

K近鄰法是機器學習中一種很基本的演算法，可以用做分類和迴歸，主要的思想跟我們生活中近墨者黑，近朱者赤的思想雷同。例如我們看一個人人品的好壞只需要看與之相交的人的品格好壞。KNN演算法分類和迴歸主要區別在於最後做預測時候的決策方式不同：分類時我們選取與之相近的K個樣本採取多數表決法來判斷類別，迴歸時我們選取K個樣本的平均值來作為預測值。

1.KNN演算法的三個要素

  • K值     對於K值的選取可根據我們的經驗，然而有時候並不是那麼的好，我們需要通過交叉驗證來不斷地調節K值，直到選擇到滿意的值。K選擇較小的值，就會使用訓練例項中較小領域的訓練例項進行預測，訓練的誤差會減小，那也就意味這隻有與之相近的樣本才對預測結果影響，這樣會使模型變得複雜，容易發生過擬合。K選擇較小的值，就會使用訓練例項中較大的訓練例項進行預測，這樣會使模型變得簡單，模型的泛化能力增強，但同時也意味著與之相距較遠的例項會對其預測結果產生影響，會使訓練誤差增大。
  • 距離度量     我們有很多種距離度量的方式，可推薦參考   距離度量 。standard Euclidean distance（標準歐式距離）是最常見的選擇。
  • 決策規則     分類我們一般使用的是對數表決法，迴歸採用K個樣本標籤均值

2. KNN的實現

  • 暴力實現
  • 最簡單的近鄰搜尋的實現涉及資料集中所有成對點之間距離的暴力計算： 對於 D 維度中的 N 個樣本來說, 這個方法的複雜度是 O[D N^2]。 對於小資料樣本，高效的暴力近鄰搜尋是非常有競爭力的。 然而，隨著樣本數 N
     的增長，暴力方法很快變得不切實際了。
  •  

  •  K-D樹

  • 為了解決效率低下的暴力計算方法，已經發明瞭大量的基於樹的資料結構。總的來說， 這些結構試圖通過有效地編碼樣本的 aggregate distance (聚合距離) 資訊來減少所需的距離計算量。 基本思想是，若 A 點距離 B 點非常遠，B 點距離 C 點非常近， 可知 A 點與 C 點很遙遠，不需要明確計算它們的距離。 通過這樣的方式，近鄰搜尋的計算成本可以降低為 O[D N \log(N)] 或更低。 這是對於暴力搜尋在大樣本數 N

     中表現的顯著改善。

    利用這種聚合資訊的早期方法是 KD tree 資料結構（* K-dimensional tree* 的簡寫）, 它將二維 Quad-trees 和三維 Oct-trees推廣到任意數量的維度. KD 樹是一個二叉樹結構，它沿著資料軸遞迴地劃分引數空間，將其劃分為嵌入資料點的巢狀的各向異性區域。 KD 樹的構造非常快：因為只需沿資料軸執行分割槽, 無需計算 D-dimensional 距離。 一旦構建完成, 查詢點的最近鄰距離計算複雜度僅為 O[\log(N)] 。 雖然 KD 樹的方法對於低維度 (D < 20) 近鄰搜尋非常快, 當 D 增長到很大時, 效率變低: 這就是所謂的 “維度災難” 的一種體現。

  • ball 樹

  • 為了解決 KD 樹在高維上效率低下的問題, ball 樹 資料結構就被研發出來了. 其中 KD 樹沿卡迪爾軸（即座標軸）分割資料, ball 樹在沿著一系列的 hyper-spheres 來分割資料. 通過這種方法構建的樹要比 KD 樹消耗更多的時間, 但是這種資料結構對於高結構化的資料是非常有效的, 即使在高維度上也是一樣.

    ball 樹將資料遞迴地劃分為由質心 C 和半徑 r 定義的節點, 使得節點中的每個點位於由 r 和 C 定義的 hyper-sphere 內. 通過使用 triangle inequality（三角不等式） 減少近鄰搜尋的候選點數:

    |x+y| \leq |x| + |y|

    通過這種設定, 測試點和質心之間的單一距離計算足以確定距節點內所有點的距離的下限和上限.

3.KNN幾種實現的效能及時間複雜度

對於給定資料集的最優演算法是一個複雜的選擇, 並且取決於多個因素:

  • 樣本數量 N (i.e. n_samples) 和維度 D (例如. n_features).

    • Brute force 查詢時間以 O[D N] 增長

    • Ball tree 查詢時間大約以 O[D \log(N)] 增長

    • KD tree 的查詢時間 D 的變化是很難精確描述的.

      對於較小的 D (小於20) 的成本大約是 O[D\log(N)], 並且 KD 樹更加有效.

      對於較大的 D 成本的增加接近 O[DN], 由於樹結構引起的開銷會導致查詢效率比暴力還要低.

    對於小資料集 (N 小於30), \log(N) 相當於 N, 暴力演算法比基於樹的演算法更加有效.

4.KNN應用的一點建議

最近鄰迴歸是用在資料標籤為連續變數，而不是離散變數的情況下。分配給查詢點的標籤是由它的最近鄰標籤的均值計算而來的。

scikit-learn 實現了兩種不同的最近鄰迴歸：KNeighborsRegressor 基於每個查詢點的 k 個最近鄰實現， 其中 k 是使用者指定的整數值。RadiusNeighborsRegressor 基於每個查詢點的固定半徑 r 內的鄰點數量實現， 其中 r 是使用者指定的浮點數值。

基本的最近鄰迴歸使用統一的權重：即，本地鄰域內的每個鄰點對查詢點的分類貢獻一致。 在某些環境下，對鄰點加權可能是有利的，使得附近點對於迴歸所作出的貢獻多於遠處點。 這可以通過 weights 關鍵字來實現。預設值 weights = 'uniform' 為所有點分配同等權重。 而 weights = 'distance' 分配的權重與查詢點距離呈反比。 或者，使用者可以自定義一個距離函式用來計算權重。

 

相關推薦

KNN(k-nearest neighbors) K近鄰演算法深入

K近鄰法是機器學習中一種很基本的演算法，可以用做分類和迴歸，主要的思想跟我們生活中近墨者黑，近朱者赤的思想雷同。例如我們看一個人人品的好壞只需要看與之相交的人的品格好壞。KNN演算法分類和迴歸主要區別在於最後做預測時候的決策方式不同：分類時我們選取與之相近的K個樣本採取多數表決法來判斷類別，迴歸時我

《演算法圖解》第10章 K最近鄰（K nearest neighbors,KNN）演算法

     今天看到這裡的案例非常有意思，即以座標軸中的座標來作為引數。計算不同點的距離。實際上就是標記一些使用者的喜好和習慣，不同的維度代表不同的專案，在這個維度上的值可表示喜好程度。電影評分、音樂收藏...總之，很多情況都可以用，很有趣。就是標記了很多使用者，看哪些使

K-Nearest Neighbors近鄰演算法（KNN）

通過KNN演算法計算唐人街探案是哪個型別的電影 import pandas as pd # 取出列表中出現次數最多的字元 def max_list(lt): temp = 0 for i in lt: if lt.count(i)

k-Nearest Neighbors(KNN)演算法—程式和總結篇

下面是python3.4程式碼，我修改過。是根據《machine learning in action》中第二章的演算法改變的。 from numpy import * import operator from os import listdir def file2mat

OpenCV學習4-----K-Nearest Neighbors（KNN）demo

nbsp urn 方法 display void fill com ssi rain 最近用到KNN方法，學習一下OpenCV給出的demo。 demo大意是隨機生成兩團二維空間中的點，然後在500*500的二維空間平面上，計算每一個點屬於哪一個類，然後用紅色和綠色顯示出來

k-Nearest Neighbors（k近鄰）

前言–AI發展到現在，各類演算法層出不窮，對於想要達到的目標，完成的任務，我們有很多的方法可以選擇，而且以實際經驗來看用不同的方法會有不同的結果。但是沒有免費的午餐定理（no free lunch theorem，NFL）告訴我們，在沒有實際的背景下，沒有哪一種

grokking algorithms K-nearest neighbors第十章 K-鄰近演算法 中文翻譯

說明：《grokking algorithms》演算法講解的非常深入淺出，用好多幅圖以及日常常用的例子講演算法講解的非常好，若是英文還可以的話，建議看英文原版，非常喜歡作者的寫作風格，將複雜的演算法用簡單的方式描述出來，真的好厲害！！ 第十章. K-鄰近演算法

【機器學習】k-近鄰演算法（k-nearest neighbor, k-NN）

前言 kk近鄰學習是一種常用的監督學習方法。 kk近鄰法的輸入為例項的特徵向量，對應於特徵空間的點；輸出為例項的類別，可以取多類。 kk近鄰法的工作機制很簡單：給定測試樣本，基於某種距離度量（關於

k近鄰算法（k-nearest neighbor,k-NN）

導致 邏輯回歸 希望 clas 基本上 nts 就是 保存 顯式 kNN是一種基本分類與回歸方法。k-NN的輸入為實例的特征向量，對應於特征空間中的點；輸出為實例的類別，可以取多類。k近鄰實際上利用訓練數據集對特征向量空間進行劃分，並作為其分類的“模型”。k值的選擇、距離度

K-Nearest Neighbors Algorithm

使用 near 空間 進行 數據集 一個 就是 分類 產生 K近鄰算法。 KNN算法非常簡單，非常有效。 KNN的模型表示是整個訓練數據集。 對一個新的數據點進行了預測，通過對K個最類似的實例(鄰居)的整個訓練集進行搜索，並對這些K實例的輸出變量進行匯總。對於回歸問題，這可

K-nearest neighbors and Euclidean Distance

K-nearest neighbors and Euclidean Distance This is my study notes in machine learning, writing articles in English because I want to improve my

[Algorithms] Classify Mystery Items with the K-Nearest Neighbors Algorithm in JavaScript

The k-nearest neighbors algorithm is used for classification of unknown items and involves calculating the distance of the unknown item's neighbors. We'll

機器學習實踐 學習筆記2 Classifying with k-Nearest Neighbors

k-近鄰演算法（k-Nearest Neighbors,kNN） 工作原理： knn演算法屬於監督型別演算法。首先我們有樣本訓練集，知道每一條資料的分類。繼而，我們輸入沒有分類的新資料，將新資料的每個特徵與樣本集中的對應項進行比較，提取樣本集中最相思的資料，這樣我們可以獲得

ML：Scikit-Learn 學習筆記（3） --- Nearest Neighbors 最近鄰 迴歸及相關演算法

1 最近鄰迴歸 最近鄰迴歸是用在標籤值是連續取值的場景智商的，而不是離散取值，而是用最近鄰迴歸進行查詢的點，最後得到的結果是其所有最近鄰居的平均值。 scikit-learn 在迴歸部分，同樣實現了兩種迴歸演算法，和之前的一樣，和KNN思想近似的KNeigh

k近鄰法(k-nearest neighbor, k-NN)

演算法： 輸入：訓練資料集T={(x1,y1),(x2,y2),…,(xN,yN)} 其中，xi∈Rn為例項的特徵向量，yi∈{c1,c2,…,cK}為例項的類別，i=1,2,…,N; 例項特徵向

學習筆記之k-nearest neighbors algorithm (k-NN)

ram php logs fuse close dia dep n) cas k-nearest neighbors algorithm - Wikipedia https://en.wikipedia.org/wiki/K-nearest_neighbors_alg

我的人工智慧之旅——近鄰演算法KNN（K-Nearest Neighbor）

在影象識別中，影象分類是首要工作。因為需要將不同型別的影象先進行排除。近鄰演算法是最簡單的演算法之一，但由於其弊端的存在，本篇只做瞭解性的簡單介紹， K近鄰演算法的實質 將測試圖片在已經分類好的，具有不同標籤的訓練資料圖片中，找到K張最相似的圖片，進而根據K張圖片中型別的比例大小，推斷圖

機器學習實戰（一）k-近鄰演算法kNN（k-Nearest Neighbor）

目錄 0. 前言 簡單案例 學習完機器學習實戰的k-近鄰演算法，簡單的做個筆記。文中部分描述屬於個人消化後的理解，僅供參考。 如果這篇文章對你有一點小小的幫助，請給個關注喔~我會非常開心的~ 0. 前言 k-近鄰演算法kNN（k-Neare

KNN(k-nearest neighbor的縮寫)最近鄰演算法原理詳解

k-最近鄰演算法是基於例項的學習方法中最基本的，先介紹基於例項學習的相關概念。 基於例項的學習 已知一系列的訓練樣例，很多學習方法為目標函式建立起明確的一般化描述；但與此不同，基於例項的學習方法只是簡單地把訓練樣例儲存起來。 從這些例項中泛化的工作被推遲到必須分類新的例

K近鄰（k-Nearest Neighbor，KNN）演算法，一種基於例項的學習方法

1. 基於例項的學習演算法 0x1：資料探勘的一些相關知識脈絡 本文是一篇介紹K近鄰資料探勘演算法的文章，而所謂資料探勘，就是討論如何在資料中尋找模式的一門學科。 其實人類的科學技術發展的歷史，就一直伴隨著資料探勘，人們一直在試圖中資料中尋找模式， 獵人在動物遷徙的行為中尋找模式 農夫在莊稼的生