k 均值聚類法 快速高效,特別是大量資料時,準確性高一些,但是需要你自己指定聚類的類別數量

　　系統聚類法則是系統自己根據資料之間的距離來自動列出類別,所以通過系統聚類法 得出一個樹狀圖,至於聚類的類別 需要自己根據樹狀圖以及經驗來確定

　　(同上)在聚類分析中，我們常用的聚類方法有快速聚類(迭代聚類)和層次聚類。其中層次聚類容易受到極值的影響，並且計算複雜速度慢不適合大樣本聚類;快速聚類雖然速度快，但是其分類指標要求是定距變數，而實際研究中，有很多的定類變數，如性別、學歷、職業、重複購買的可能性等多個與研究目的緊密相關的指標無法直接參與運算，而大大限制了它的使用範圍

　　k-means聚類演算法的初始點選擇不穩定，是隨機選取的，這就引起聚類結果的不穩定，本實驗中雖是經過多次實驗取的平均值，但是具體初始點的選擇方法還需進一步研究;層次聚類雖然不需要確定分類數，但是一旦一個分裂或者合併被執行，就不能修正，聚類質量受限制;FCM對初始聚類中心敏感，需要人為確定聚類數，容易陷入區域性最優解;SOM與實際大腦處理有很強的理論聯絡。但是處理時間較長，需要進一步研究使其適應大型資料庫。

　　相關方法說明

　　聚類分析是一種重要的人類行為，早在孩提時代，一個人就通過不斷改進下意識中的聚類模式來學會如何區分貓狗、動物植物。目前在許多領域都得到了廣泛的研究和成功的應用，如用於模式識別、資料分析、影象處理、市場研究、客戶分割、Web文件分類等[1]。

　　聚類就是按照某個特定標準(如距離準則)把一個數據集分割成不同的類或簇，使得同一個簇內的資料物件的相似性儘可能大，同時不在同一個簇中的資料物件的差異性也儘可能地大。即聚類後同一類的資料儘可能聚集到一起，不同資料儘量分離。

　　聚類技術[2]正在蓬勃發展，對此有貢獻的研究領域包括資料探勘、統計學、機器學習、空間資料庫技術、生物學以及市場營銷等。各種聚類方法也被不斷提出和改進，而不同的方法適合於不同型別的資料，因此對各種聚類方法、聚類效果的比較成為值得研究的課題。

　　1 聚類演算法的分類

　　目前，有大量的聚類演算法[3]。而對於具體應用，聚類演算法的選擇取決於資料的型別、聚類的目的。如果聚類分析被用作描述或探查的工具，可以對同樣的資料嘗試多種演算法，以發現數據可能揭示的結果。

　　主要的聚類演算法可以劃分為如下幾類：劃分方法、層次方法、基於密度的方法、基於網格的方法以及基於模型的方法[4-6]。

　　每一類中都存在著得到廣泛應用的演算法，例如：劃分方法中的k-means[7]聚類演算法、層次方法中的凝聚型層次聚類演算法[8]、基於模型方法中的神經網路[9]聚類演算法等。

　　目前,聚類問題的研究不僅僅侷限於上述的硬聚類，即每一個數據只能被歸為一類，模糊聚類[10]也是聚類分析中研究較為廣泛的一個分支。模糊聚類通過隸屬函式來確定每個資料隸屬於各個簇的程度，而不是將一個數據物件硬性地歸類到某一簇中。目前已有很多關於模糊聚類的演算法被提出，如著名的FCM演算法等。

　　本文主要對k-means聚類演算法、凝聚型層次聚類演算法、神經網路聚類演算法之SOM,以及模糊聚類的FCM演算法通過通用測試資料集進行聚類效果的比較和分析。

　　2 四種常用聚類演算法研究

　　2.1 k-means聚類演算法

　　k-means是劃分方法中較經典的聚類演算法之一。由於該演算法的效率高，所以在對大規模資料進行聚類時被廣泛應用。目前，許多演算法均圍繞著該演算法進行擴充套件和改進。

　　k-means演算法以k為引數，把n個物件分成k個簇，使簇內具有較高的相似度，而簇間的相似度較低。k-means演算法的處理過程如下：首先，隨機地選擇k個物件，每個物件初始地代表了一個簇的平均值或中心;對剩餘的每個物件，根據其與各簇中心的距離，將它賦給最近的簇;然後重新計算每個簇的平均值。這個過程不斷重複，直到準則函式收斂。通常，採用平方誤差準則，其定義如下：

　　這裡E是資料庫中所有物件的平方誤差的總和，p是空間中的點，mi是簇Ci的平均值[9]。該目標函式使生成的簇儘可能緊湊獨立，使用的距離度量是歐幾里得距離,當然也可以用其他距離度量。k-means聚類演算法的演算法流程如下：

　　輸入：包含n個物件的資料庫和簇的數目k;

　　輸出：k個簇，使平方誤差準則最小。

　　步驟：

　　(1) 任意選擇k個物件作為初始的簇中心;

　　(2) repeat;

　　(3) 根據簇中物件的平均值，將每個物件(重新)賦予最類似的簇;

　　(4) 更新簇的平均值，即計算每個簇中物件的平均值;

　　(5) until不再發生變化。

　　2.2 層次聚類演算法

　　根據層次分解的順序是自底向上的還是自上向下的，層次聚類演算法分為凝聚的層次聚類演算法和分裂的層次聚類演算法。

　　凝聚型層次聚類的策略是先將每個物件作為一個簇，然後合併這些原子簇為越來越大的簇，直到所有物件都在一個簇中，或者某個終結條件被滿足。絕大多數層次聚類屬於凝聚型層次聚類，它們只是在簇間相似度的定義上有所不同。四種廣泛採用的簇間距離度量方法如下：

　　這裡給出採用最小距離的凝聚層次聚類演算法流程：

　　(1) 將每個物件看作一類，計算兩兩之間的最小距離;

　　(2) 將距離最小的兩個類合併成一個新類;

　　(3) 重新計算新類與所有類之間的距離;

　　(4) 重複(2)、(3)，直到所有類最後合併成一類。

　　2.3 SOM聚類演算法

　　SOM神經網路[11]是由芬蘭神經網路專家Kohonen教授提出的，該演算法假設在輸入物件中存在一些拓撲結構或順序，可以實現從輸入空間(n維)到輸出平面(2維)的降維對映，其對映具有拓撲特徵保持性質,與實際的大腦處理有很強的理論聯絡。

　　SOM網路包含輸入層和輸出層。輸入層對應一個高維的輸入向量，輸出層由一系列組織在2維網格上的有序節點構成，輸入節點與輸出節點通過權重向量連線。學習過程中，找到與之距離最短的輸出層單元，即獲勝單元，對其更新。同時，將鄰近區域的權值更新，使輸出節點保持輸入向量的拓撲特徵。

　　演算法流程：

　　(1) 網路初始化，對輸出層每個節點權重賦初值;

　　(2) 將輸入樣本中隨機選取輸入向量，找到與輸入向量距離最小的權重向量;

　　(3) 定義獲勝單元，在獲勝單元的鄰近區域調整權重使其向輸入向量靠攏;

　　(4) 提供新樣本、進行訓練;

　　(5) 收縮鄰域半徑、減小學習率、重複，直到小於允許值，輸出聚類結果。

　　2.4 FCM聚類演算法

　　1965年美國加州大學柏克萊分校的扎德教授第一次提出了‘集合’的概念。經過十多年的發展，模糊集合理論漸漸被應用到各個實際應用方面。為克服非此即彼的分類缺點，出現了以模糊集合論為數學基礎的聚類分析。用模糊數學的方法進行聚類分析，就是模糊聚類分析[12]。

　　FCM演算法是一種以隸屬度來確定每個資料點屬於某個聚類程度的演算法。該聚類演算法是傳統硬聚類演算法的一種改進。

　　演算法流程：

　　(1) 標準化資料矩陣;

　　(2) 建立模糊相似矩陣，初始化隸屬矩陣;

　　(3) 演算法開始迭代，直到目標函式收斂到極小值;

　　(4) 根據迭代結果，由最後的隸屬矩陣確定資料所屬的類，顯示最後的聚類結果。

　　2.5soft k-means

​