#-*- coding: UTF-8 -*-
from numpy import *


def loadDataSet(fileName):#函式的輸入為檔名稱，函式的主要作用是將檔案中的每行內容轉換成浮點型，
                          # 每行內容放入一個列表，所有列表再放入一個總列表，準備轉換為numpy陣列
dataMat = []
    fr = open(fileName)
    for line in fr.readlines():
        curLine = line.strip().split('\t')
        fltLine = map
 
(float,curLine)#map()是 Python 內建的高階函式，它接收一個函式 f 和一個 list，
                                    # 並通過把函式 f 依次作用在 list 的每個元素上，得到一個新的 list 並返回,此步為將列表中的元素對映為浮點數型別並加入新的列表
dataMat.append(fltLine)#將得到的每個元素資料型別為浮點型的列表再加入一個總列表
return dataMat

def distEclud(vecA,vecB):#距離的計算
return sqrt(sum(power(vecA - vecB,2
 
)))#power(x,y)為x的y次方。對於power(x,y,z)函式，其結果是x的y次方再對z求餘數，
                                           # 此處為對向量A與B中對應元素相減在再求平方，sum函式求平方和，sqrt函式對其開方得歐式距離
#dataMat = mat(loadDataSet('testSet.txt'))#轉換成陣列矩陣，mat與numpy構建矩陣的區別：mat更易進行一些線性代數的計算
def randcent(dataSet,k):
    n = shape(dataSet)[1]#shape[0]為獲取矩陣的第二維長度 即行數，shape[1]為第一維長度，即列數
 
centroids = mat(zeros((k,n)))#建立一個k行n列的0矩陣,簇中心初始化，訓練集資料的每行為x，y的座標值，此處建立k個簇質心，每個簇質心由x，y座標構成
for j in range(n):#遍歷每列，
minJ = min(dataSet[:,j])#獲取第j列的最小值並賦值給minJ
rangeJ = float(max(dataSet[:,j]) - minJ)#差值為j列的最大值減去最小值，浮點型
centroids[:,j] = minJ + rangeJ * random.rand(k,1)#rand函式生成數值介於0和1之間的k行1列的隨機數，乘以差值後加上相應列的最小值，
                                                        # 即為該列各行的隨機數，此步主要是為了使生成的隨機數在資料集的範圍內
return  centroids

def KMeans(dataSet,k,distMeas = distEclud,createCent = randcent):
    m = shape(dataSet)[0]#獲取資料集的第二維長度，即行數
clusterAssment = mat(zeros((m,2)))#建立一個m行，2列的0矩陣，
centroids = createCent(dataSet,k)#簇質心初始化，即隨機生成初始簇質心
clusterChanged = True#立個flag?，如果flag改變，則迴圈繼續進行
while clusterChanged:
        clusterChanged = False#關閉flag，之後會進行檢測，確定是否繼續跳入迴圈
for i in range(m):#遍歷資料集中的每行
minDist = inf;minIndex = -1#初始化最小距離（inf為正無窮），初試化最小索引
for j in range(k):#遍歷每個簇
distJI = distMeas(centroids[j,:],dataSet[i,:])#計算第i 個點與當前簇質心的距離
if distJI < minDist:#所得距離與當前最小距離比較
minDist = distJI;minIndex = j#如果所得距離更近，更新當前最小距離和該點的最佳簇索引
if clusterAssment[i,0] != minIndex:#如果此點在分類結果簇中的簇索引值與計算所得的最小簇索引值不等
clusterChanged = True#繼續計算，啟用flag
clusterAssment[i,:] = minIndex,minDist ** 2#更新簇分配結果矩陣中該點對應的簇索引和最小距離
print centroids#輸出當前簇質心
for cent in range(k):#此步更新簇質心。遍歷簇質心列表
ptsInClust = dataSet[nonzero(clusterAssment[:,0].A == cent)[0]]#獲取簇分配結果矩陣中屬於當前cent簇的所有索引列表，
                                                                              # 並對應到資料集中的點，全部取出放入新的列表
centroids[cent,:] = mean(ptsInClust,axis=0)#對得到的列表按列取均值，作為該簇的最新的質心放入簇質心列表
return centroids,clusterAssment

datMat = mat(loadDataSet('testSet.txt'))
#print min(datMat[:,0])#計算所有行第1列的最小值
#print min(datMat[:,1])
#print max(datMat[:,1])
#print max(datMat[:,0])
#print randcent(datMat,5)
#print distEclud(datMat[0],datMat[1])
#myCentroids, clustAssing =KMeans(datMat,4)
def biKmeans(dataSet,k,distMeas = distEclud):#二分均值聚類演算法，輸入為資料集，最終想要得到的類別數，可選引數為距離度量
m = shape(dataSet)[0]#獲取資料集的行數，賦值給m
clusterAssment = mat(zeros(m,2))#建立一個m行2列的0矩陣，初始化簇分類結果
centroid0 = mean(dataSet,axis=0).tolist()[0]#對資料集的各列計算均值，轉換成列表，作為初始簇
centList = [centroid0]#將初始簇質心放入一個簇質心列表
for j in range(m):#遍歷每行
clusterAssment[j,1] = distMeas(mat(centroid0),dataSet[j,:]) ** 2#計算每個點與原始簇的距離，取平方後放入結果簇的第二列,（此時第一列元素均為0）
                                                                       # mat函式將列表轉換為陣列
while(len(centList) < k):#當簇個數小於最終要得的簇個數時，進入迴圈
lowestSSE = inf#初始化最小誤差平方和
for i in range(len(centList)):#遍歷每個簇
ptsInCurrCluster = dataSet[nonzero(clusterAssment[:,0].A == i)[0],:]#將簇結果中同屬於i類簇的點的索引取出並在資料集中找到對應的點，
                                                                                  #將每個簇中的點看作一個小的資料集ptsInCurrCluster
centroidMat,splitClustAss = KMeans(ptsInCurrCluster,2,distMeas)#呼叫KMeans函式，將當前資料劃分為兩個簇，得到簇的值和簇劃分結果
sseSplit = sum(splitClustAss[:,1])#對簇劃分結果，對誤差平方和求和，得到當前劃分結果的SSE
sseNotSplit = sum(clusterAssment[nonzero(clusterAssment[:,0].A!=i)[0],1])#對當前未劃分的簇計算SSE（[0]表示全部資料放在1行？1表示取所有資料的第二列？）
print "sseSplit,and notSplit: ",sseSplit,sseNotSplit#輸出劃分後簇的SSE和未進行劃分的簇的SSE
if (sseSplit + sseNotSplit) < lowestSSE:#對以上兩類SSE求和，若比當前的SSE值小
bestCentToSplit = i#則二分劃分法的最好劃分方式的簇為按第i個劃分
bestNewCents = centroidMat#將返回的按i簇劃分得到的新簇質心儲存到bestNewCents中
bestClustAss = splitClustAss.copy()#獲得第i個簇二分劃分後的結果簇，製作副本儲存到bestClustAss中
lowestSSE = sseSplit + sseNotSplit#更新最新的最小SSE的值
bestClustAss[nonzero(bestClustAss[:,0].A == 1)[0],0] = len(centList)#將劃分得到的小類中類別為1的類，與大類合併，類別號需要+1（因為列表長度比索引值多1）
bestClustAss[nonzero(bestClustAss[:,0].A == 0)[0],0] = bestCentToSplit#劃分得到的小類中的類別為0的類為i（列表長度-1）
print 'the bestCentToSplit is: ',bestCentToSplit#輸出此次劃分被劃分的簇
print 'the len of bestClustAss is: ',len(bestClustAss)#輸出當前劃分得到的簇結果的長度，即有多少資料被劃分
centList[bestCentToSplit] = bestNewCents[0,:]#此步和下面一步為更新簇質心的值，此步用新得到的第一個簇質心替換原來的簇質心（列表替換列表）
centList.append(bestNewCents[1,:])#此步將新得到的第二個簇質心新增到centlist列表中，（不能覆蓋）
clusterAssment[nonzero(clusterAssment[:,0].A ==bestCentToSplit)[0],:] = bestClustAss#更新分類結果簇中參與此次劃分的點的簇分類結果與誤差平方和
return mat(centList),clusterAssment#返回簇質心陣列和簇分類結果