k-近鄰學習 k-Nearest Neighbor(KNN)

1. 演算法描述

k-近鄰學習是一種監督的分類迴歸方法。工作機制：給定測試樣本，基於某種距離度量找出訓練集中與其最接近的k和訓練樣本，然後基於這k個“鄰居”的資訊進行預測。通常，在分類任務中採用“投票法”；在迴歸任務中採用“平均法”（也可根據距離遠近進行“加權”）。**三個基本要素：**k值得選擇，距離度量及分類/迴歸決策規則。“懶惰學習”沒有顯示的訓練過程。

1.1 距離度量

Lp距離：Lp(xi,xj)=(∑l=1n|xli−xlj|p)1p,p≥1，當p=2 稱為“歐氏距離”(Eucliden distanceL2)，當p

=1 稱為“曼哈頓距離”，當p=∞ 時，它是各個座標距離的最大值：L∞(xi,xj)=maxl|xli−xlj|
1.2 k值得選擇

k值較小，相當於用較小的鄰域進行預測，優點是可以學習的近似誤差會減小，缺點是學習的估計誤差會增大，k值的減小會使模型變複雜，容易過擬合；k值較大，相當於用較大的鄰域進行預測，優點是可以減小學習的估計誤差，缺點是學習的近似誤差會增大。通常採用“交叉驗證”來選取最優的k值。

2. 優缺點

優點：

1.簡單好用，容易理解，精度高，理論成熟，既可以用來做分類也可以用來做迴歸；

2.可用於數值型資料和離散型資料；

3.訓練時間複雜度為O(n)；無資料輸入假定；

4.對異常值不敏感

5.KNN是一種線上技術，新資料可以直接加入資料集而不必進行重新訓練

6.計算時間和空間線性於訓練集的規模

缺點：

1.計算複雜性高；空間複雜性高；

2.樣本不平衡問題（即有些類別的樣本數量很多，而其它樣本的數量很少）；

3.KNN每一次分類都會重新進行一次全域性運算，計算量太大。

4.最大的缺點是無法給出資料的內在含義。

5.k值大小的選擇。

3. kd樹

為了提高k近鄰搜尋的效率，考慮使用特殊的結構儲存訓練資料，以減少計算距離的次數。

kd樹是一種對k維空間中的例項點進行儲存以便進行快速檢索的樹形資料結構，kd樹是二叉樹，對k維空間的一個劃分。

構造kd樹：構造根節點，使根節點對應於k維空間包含所有例項點的超矩形區域；通過下面的遞迴，不斷地對k維空間進行切分，生成子節點：在節點上選擇一個座標軸和該座標軸上的一個切分點（選擇中位數作為切分點得到的kd樹是平衡點），將當前結點切分為左右子節點（將超矩形區域通過切分點且垂直切分軸的平面切分為兩個子區域）；直到兩個子節點不能再切分為止。

用kd樹的最近鄰搜尋

1. 在kd樹中找出包含目標點x的葉節點：從根節點出發，遞迴地向下訪問kd樹。若目標點當前維的座標小於切分點的座標，則移動到左子節點，否則移動到右子節點，直到子節點為葉子結點為止。

2. 以此葉節點為“當前最近點”。

3. 遞迴的向上回退，在每個節點進行以下操作：

   a) 如果該節點儲存的例項點比當前最近點距離目標更近，則以該例項點為“當前最近點”。

   b) 當前最近點一定存在於該節點一個子節點對應的區域。檢查該子節點的父節點的另一個子節點對應的區域是否有更近的點（具體的，檢查另一個子結點對應的區域是否與以目標點為球心、以目標點與“當前最近點”間的距離為半徑的超球體相交。如果相交，可能在另一個子結點對應的區域記憶體在距離目標更近的點，移動到另一個子結點。接著，遞迴的進行最近鄰搜尋。如果不相交，向上回退）。

4. 當回退到根節點時，搜尋結束。最後的“當前最近點”為目標點的最近鄰點。

如果例項點是隨機分佈的，kd樹搜尋的平均計算複雜度是O(logm)，這裡m是訓練例項數。kd樹更適用於訓練例項數遠大於空間維數時的k近鄰搜尋。當空間維數接近訓練例項數時，它的效率會迅速下降，幾乎接近線性掃描。

樸素貝葉斯，期望最大化，最大熵模型

1. 貝葉斯分類器

1.1 樸素貝葉斯(naive bayes)

樸素貝葉斯法是基於貝葉斯定理(P(A|B)=P(A)P(B|A)P(B) )與特徵條件獨立假設（分類的特徵在類確定的條件下都是條件獨立的）的分類方法。工作機制：對於給定訓練資料集，首先基於特徵條件獨立假設學習輸入/輸出的聯合概率分佈；然後基於此模型，對給定的測試樣本，利用貝葉斯定理求出後驗概率最大的輸出。設輸入空間X⊆Rn為n維向量的集合，輸出空間為類標記集合Y={c1,c2,⋯,cK} 。輸入為特徵向量x∈X，輸出標記為y∈Y。X表示輸入空間上的隨機變數，Y表示輸出空間上的隨機變數，P(X,Y)表示X和Y的聯合概率分佈，且訓練資料集D={(x1,y1),(x2,y3),⋯,(xm,ym)} 由P(X,Y)獨立分佈產生。

1.1.1 樸素貝葉斯演算法流程

樸素貝葉斯通過訓練資料集學習聯合概率分佈，具體由先驗概率分佈：P(Y=ck)和條件概率分佈：P(X=x|Y=ck)=P(X1=x1,X2=x2,⋯,Xm=xm|Y=ck)，得到聯合概率分佈為P(X,Y)=P(Y=ck)⋅P(X=x|Y=ck)。此外由條件獨立假設有：P(X=x|Y=ck)=∏j=1nP(Xj=xj|Y=ck)。

樸素貝葉斯分類時，對給定的輸入x，通過學習得到的模型計算後驗概率分佈P(Y=ck|X=x)，將後驗概率最大的類作為

相關推薦