聚類分析簡介

將物理或抽象物件的集合分組成為由類似的物件組成的多個類的過程被稱為聚類。由聚類所生成的簇是一組資料物件的集合，這些物件與同一個簇中的物件彼此相似，與其他簇中的物件相異。在許多應用中，一個簇中的資料物件可以被作為一個整體來對待。

作為統計學的一個分支，聚類分析已經被廣泛地研究了許多年。基於k-means(統計學教材聚類分析部分必講)，k-medoids和其他一些方法的聚類分析工具已經被加入到許多統計分析軟體包或系統中，例如典型的SPSS和SAS。在機器學習領域，聚類是無監督學習(unsupervised learning)的一個典型例子。在概念聚類（conceptual clustering

相異度是基於描述物件的屬性值來計算的。距離和相關性是經常採用的度量方式。其中，衡量距離屬性常見的有歐式距離、曼哈頓（絕對）距離、切比雪夫距離等；衡量相關性常見的有皮爾遜相關係數和斯皮爾曼等級相關係數。

聚類分析中的資料型別

1.先介紹一下在聚類中具有代表性的兩種資料結構：

資料矩陣（Data matrix，或稱為物件屬性結構）：它用p個變數（也稱為屬性）來表現n個物件， 例如用年齡，身高，性別，種族等屬性來表現物件“人”。這種資料結構是關係表的形式，或 者看為

相異度矩陣（dissimilarity matrix，或稱為物件-物件結構）：儲存n個物件兩兩之間的近似性， 表現形式是一個n*n維的矩陣。

2.資料標準化

為了實現度量值的標準化，一種方法是將原來的度量值轉換為無單位的值（即統計學中所說的無量綱化）。給定一個變數f的度量值，可以進行如下的變換：

## 計算平均的絕對偏差（mean absolute deviation）：

這裡的 x1f,…,xnf是f的n個度量值，mf是f的平均值，即：

## 計算標準化的度量值，即z-score：

3.資料標準化後，就是計算物件之間的相異度

## 以距離作為度量：

另外，當q=無窮時，稱作切比雪夫距離。

## 以相似性作為度量，同樣，我們為了簡單說明，我就直接擷取前面博文的圖如下：

這裡，再補充一下如何用二元變數描述物件間的相似度：

一個二元變數只有兩個狀態：0或1，0表示該變數為空，1表示該變數存在。例如，給出一個描述病人的變數smoker，1表示病人抽菸，而0表示病人不抽菸。如果用標準化的方法處理會誤導聚類結果，所以要採用特定的方法來計算其相異度。

如果假設所有的二元變數有相同的權重，我們設q是物件i和j值都為1的變數的數目，r是在物件i中值為1，在物件j中值為0的變數的數目，s是在物件i中值0，在物件j中值為1的變數的數目，t是在物件i和j中值都0的變數的數目。變數的總數是p，p=q+r+s+t。

基於對稱二元變數的相似度稱為恆定的相似度，即當一些或者全部二元變數編碼改變時，計算結果不會發生變化。對恆定的相似度來說，評價兩個物件i和j之間相異度的著名的係數是簡單匹配係數，其定義如下：

D(i,j) = (r+s) / (q+r+s+t)

而對非恆定的相似度，著名的評價係數是Jaccard係數，在它的計算中，負匹配的數目被認為是不重要的，因此被忽略，其定義如下：

 D(i,j) = (r+s) / (q+r+s)

主要聚類分析方法的分類

劃分方法

劃分方法（partitioning methods）：給定一個n個物件或元組的資料庫，一個劃分方法構建資料的k個劃分，每個劃分表示一個聚類，並且k<=n。也就是說，它將資料劃分為k個組，同時滿足如下的要求：

1.每個組至少包含一個物件；

2.每個物件必須屬於且只屬於一個組。注意在某些模糊劃分技術中第二個要求可以放寬。

給定k，即要構建的劃分的數目，劃分方法首先建立一個初始劃分。然後採用一種迭代的重定位技術，嘗試通過物件在劃分間移動來改進劃分。一個好的劃分的一般準則是：在同一個類中的物件之間的距離儘可能小，而不同類中的物件之間的距離儘可能大。

為了達到全域性優，基於劃分的聚類會要求窮舉所有可能的劃分。實際上，絕大多數應用採用 了以下兩個比較流行的啟發式方法：

1.k-means 演算法，在該演算法中，每個簇用該簇中物件的平均值來表示。

2.k-medoids 演算法，在該演算法中，每個簇用接近聚類中心的一個物件來表示。

這些啟發式聚類方法對在中小規模的資料庫中發現球狀簇很適用。

層次方法

層次的方法（hierarchical methods）：層次的方法對給定資料集合進行層次的分解。根據層次的分解如何形成，層次的方法可以被分為凝聚的或分裂的方法。

凝聚的方法，也稱為自底向上的方法，一開始將每個物件作為單獨的一個組，然後繼續地合併相近的物件或組，直到所有的組合併為一個（層次的上層），或者達到一個終止條件。

分裂的方法，也稱為自頂向下的方法，一開始將所有的物件置於一個簇中。在迭代的每一步中，一個簇被分裂為更小的簇，直到終每個物件在單獨的一個簇中，或者達到一個終止條件。

基於密度的方法 

基於密度的方法：絕大多數劃分方法基於物件之間的距離進行聚類。這樣的方法只能發現球狀的簇，而在發現任意形狀的簇上遇到了困難。隨之提出了基於密度的另一類聚類方法，其主要思想是：只要臨近區域的密度（物件或資料點的數目）超過某個閾值，就繼續聚類。也就是說，對給定類中的每個資料點，在一個給定範圍的區域中必須包含至少某個數目的點。這樣的方法可以用來過濾“噪音”資料，發現任意形狀的簇。

DBSCAN是一個有代表性的基於密度的方法，它根據一個密度閾值來控制簇的增長。OPTICS是另一個基於密度的方法，它為自動的，互動的聚類分析計算一個聚類順序

除此之外，還有基於網格的方法和基於模型的方法。

本文大概梳理了一下聚類分析的基礎概念以及各分類方法的思想，隨後會將具體的演算法實現寫上。