2. 程式人生 > >K近鄰演算法（kNN）學習——kd樹

K近鄰演算法（kNN）學習——kd樹

阿新 • • 發佈：2019-01-07

    構造kd樹的過程我自己總結了一個口訣就是：“選擇中位數，一橫一豎”
    構造平衡kd樹演算法
    輸入：k維空間資料集T={x1,x2,...,xN},其中xi=(x(1)i,x(2)i,...,x(k)i)，i=1,2...,N;
    輸出kd樹。
    （1）分別基於輸入的資料集，計算k維資料中方差最大的一維（也可以依次分割每一維度），為了便於介紹，本演算法以依次分割每一維度進行的，所以選擇x(1)為分割座標軸；
    （2）選擇x(1)為分割座標軸，以T中所有例項的x(1)座標的中位數為切割點，將根節點對應的超矩形區域切分為兩個子區域。切分由通過切分點並與座標軸x
(1)垂直的超平面實現。
    由根節點生成深度為1的左、右子節點：左子節點對應座標x(1)小於切分點的子區域，右子節點對應於座標x(1)大於切分點的子區域。
    （3）重複步驟（2），對於深度為j的節點，選擇x(l)為切分點的座標軸，l=j(modk)+1，以該節點的區域切中所有例項的x(l)的中位數為切分點，將該節點對應的超矩形區域切分為兩個子區域。切分由通過切分點並與座標軸x(l)垂直的超矩形實現。
    （4）停止條件：直到兩個子區域內沒有例項存在時停止。
    舉例：
    假設有6個二維資料點{（2,3）,（5,4），（9,6），（4,7），（8,1），（7,
2）}，資料點位於二維空間內，如圖1：
    a）依次分割每一維度，因此先分割x軸；
    b）根據x軸方向的值2,5,9,4,8,7排序選出中值為7，所以以（7,2）為分割點。這樣，該節點的分割超平面就是通過（7,2）並垂直於x軸的直線x = 7；
    c）確定左子空間（x <= 7的部分）和右子空間（x > 7的部分）進行上面兩步遞迴操作直到空間中只包含一個數據點。最後生成的kd樹對應的空間劃分為圖1，kd樹如圖2。

相關推薦

K近鄰演算法（kNN）學習——kd樹

    構造kd樹的過程我自己總結了一個口訣就是：“選擇中位數，一橫一豎”     構造平衡kd樹演算法     輸入：k維空間資料集T={x1,x2,...,xN},其中xi=(x(1)i,x(2)i,...,x(k)i)，i=1,2...,N;     輸出kd樹。     （1）分別基於輸入

K 近鄰演算法（KNN）與KD 樹實現

KD樹節點 /// <summary> /// ＫＤ樹節點 /// /2016/4/1安晟新增 /// </summary> [Serializable] p

機器學習--k-近鄰演算法（kNN）實現手寫數字識別

這裡的手寫數字以0,1的形式儲存在文字檔案中，大小是32x32.目錄trainingDigits有1934個樣本。0-9每個數字大約有200個樣本，命名規則如下： 下劃線前的數字代表是樣本0-9的

機器學習筆記九：K近鄰演算法（KNN）

一.基本思想 K近鄰演算法，即是給定一個訓練資料集，對新的輸入例項，在訓練資料集中找到與該例項最鄰近的K個例項，這K個例項的多數屬於某個類，就把該輸入例項分類到這個類中。如下面的圖： 通俗一點來說，就是找最“鄰近”的夥伴，通過這些夥伴的類別來看自己的類別

《機器學習實戰》學習筆記——K-近鄰演算法（KNN）(二)海倫約會網站匹配實戰

《機器學習實戰》中KNN演算法例項一：關於這個實戰的故事背景可以搜尋“海倫 約會網站”基本上就可以瞭解。 這個實驗的目的是根據已有的海倫整理出來的約會物件的資料和海倫對約會物件的評價，構造分類器，使對

基於scikit-learn實現k近鄰演算法（kNN）與超引數的除錯

前一篇關於kNN的部落格介紹了演算法的底層實現，這片部落格讓我們一起看一看基於scikit-learn如何快速的實現kNN演算法。 scikit-learn內建了很多資料集，就不用我們自己編造假資料了，下面我們分別選用鳶尾花和手寫數字識別的資料集。 首先匯入需要的庫 from sklea

K-近鄰演算法（KNN）

#-*- coding:utf-8 -*- import numpy as np import operator def createDataset(): #四組二維特徵 group = np.array([[5,115],[7,106],[56,11],[66,9]])

Python高階--K-近鄰演算法（KNN）

K nearest neighbour K-近鄰演算法採用測量不同特徵值之間的距離方法進行分類。 優點：精度高、對異常值不敏感、無資料輸入假定。 缺點：時間複雜度高、空間複雜度高。 適用資料範圍：數值型和標稱型。 一、K

小白python學習——機器學習篇——k-近鄰演算法（KNN演算法）

一、演算法理解 一般給你一資料集，作為該題目的資料（一個矩陣，每一行是所有特徵），而且每一組資料都是分了類，然後給你一個數據，讓這個你預測這組資料屬於什麼類別。你需要對資料集進行處理，如：歸一化數值。處理後可以用matplotlib繪製出影象，一般選兩個特徵繪製x，y軸，然後核心是計算出預測點到

《機器學習實戰》第二章：k-近鄰演算法（1）簡單KNN

收拾下心情，繼續上路。 最近開始看Peter Harrington的《Machine Learning in Action》... 的中文版《機器學習實戰》。準備在部落格裡面記錄些筆記。 這本書附帶的程式碼和資料及可以在這裡找到。 這本書裡程式碼基本是用python寫的

機器學習實戰（Machine Learning in Action）學習筆記————02.k-鄰近演算法（KNN）

機器學習實戰（Machine Learning in Action）學習筆記————02.k-鄰近演算法（KNN）關鍵字：鄰近演算法（kNN: k Nearest Neighbors）、python、原始碼解析、測試作者：米倉山下時間：2018-10-21機器學習實戰（Machine Learning in

K-Nearest Neighbors近鄰演算法（KNN）

通過KNN演算法計算唐人街探案是哪個型別的電影 import pandas as pd # 取出列表中出現次數最多的字元 def max_list(lt): temp = 0 for i in lt: if lt.count(i)

機器學習之K-近鄰演算法（二）

本章內容： K-近鄰分類演算法 從文字檔案中解析和匯入資料 使用matplotlib建立擴散圖 歸一化數值 2-1 K-近鄰演算法概述 簡單的說，K-近鄰演算法採用測量不同特徵值之間的距離方法進行分類。 K-近鄰演算法 優點：精度高、對異常

K最近鄰演算法（KNN）---sklearn+python實現

def main(): import numpy as np from sklearn import datasets digits=datasets.load_digits() x=digits.data y=digits.target from sklear

機器學習實戰之k-近鄰演算法（3）---如何視覺化資料

關於視覺化： 《機器學習實戰》書中的一個小錯誤，P22的datingTestSet.txt這個檔案，根據網上的原始碼，應該選擇datingTestSet2.txt這個檔案。主要的區別是最後的標籤，作者原來使用字串‘veryLike’作為標籤，但是Python轉換會出現Val

《機器學習實戰》第二章：k-近鄰演算法（3）手寫數字識別

這是k-近鄰演算法的最後一個例子——手寫數字識別！ 怎樣？是不是聽起來很高大上？ 呵呵。然而這跟影象識別沒有半毛錢的關係 因為每個資料樣本並不是手寫數字的圖片，而是有由0和1組成的文字檔案，就像這樣：         嗯，這個資料集中的每一個樣本用圖形軟體處理過，變成了寬高

K最近鄰演算法（KNN）

       K最近鄰 (k-Nearest Neighbors，KNN) 演算法是一種分類演算法，也是最簡單易懂的機器學習演算法，沒有之一。1968年由 Cover 和 Hart 提出，應用場景有字

《機器學習實戰》第二章：k-近鄰演算法（2）約會物件分類

這是KNN的一個新例子。 在一個約會網站裡，每個約會物件有三個特徵： （1）每年獲得的飛行常客里程數（額...這個用來判斷你是不是成功人士？） （2）玩視訊遊戲所耗時間百分比（額...這個用來判斷你是不是肥宅？） （3）每週消費的冰激凌公升數（額...這個是何用意我真不知道

機器學習實戰之k-近鄰演算法（4）--- 如何歸一化資料

歸一化的公式： newValue = (oldValue - min) / (max - min) 就是把資料歸一化到[0, 1]區間上。 好處： 防止某一維度的資料的數值大小對距離就算產生影響。多個維度的特徵是等權重的，所以不能被數值大小影響。 下面是歸一化特徵值的程式碼

資料分析06sklearn資料集及K近鄰演算法（轉）

機器學習應用程式的步驟 （1）收集資料 我們可以使用很多方法收集樣本護具，如： 公司自有資料 製作網路爬蟲從網站上抽取資料、 第三方購買的資料 合作機構提供的資料 從RSS反饋或者API中得到資訊、裝置傳送過來的實測資料。 （2）準備輸入資料 得到資料之後