一、簡介

EM 的英文是 Expectation Maximization，所以 EM 演算法也叫最大期望演算法。

我們先看一個簡單的場景：假設你炒了一份菜，想要把它平均分到兩個碟子裡，該怎麼分？

很少有人用稱對菜進行稱重，再計算一半的分量進行平分。大部分人的方法是先分一部分到碟子 A 中，然後再把剩餘的分到碟子 B 中，再來觀察碟子 A 和 B 裡的菜是否一樣多，哪個多就勻一些到少的那個碟子裡，然後再觀察碟子 A 和 B 裡的是否一樣多……整個過程一直重複下去，直到份量不發生變化為止。

你能從這個例子中看到三個主要的步驟：初始化引數、觀察預期、重新估計。首先是先給每個碟子初始化一些菜量，然後再觀察預期，這兩個步驟實際上就是期望步驟（Expectation）。如果結果存在偏差就需要重新估計引數，這個就是最大化步驟（Maximization）。這兩個步驟加起來也就是 EM 演算法的過程。

/*請尊重作者勞動成果，轉載請標明原文連結：*/

/* https://www.cnblogs.com/jpcflyer/p/11143638.html * /

二、EM 演算法的工作原理

說到 EM 演算法，我們先來看一個概念“最大似然”，英文是 Maximum Likelihood，Likelihood 代表可能性，所以最大似然也就是最大可能性的意思。

什麼是最大似然呢？舉個例子，有一男一女兩個同學，現在要對他倆進行身高的比較，誰會更高呢？根據我們的經驗，相同年齡下男性的平均身高比女性的高一些，所以男同學高的可能性會很大。這裡運用的就是最大似然的概念。

最大似然估計是什麼呢？它指的就是一件事情已經發生了，然後反推更有可能是什麼因素造成的。還是用一男一女比較身高為例，假設有一個人比另一個人高，反推他可能是男性。最大似然估計是一種通過已知結果，估計引數的方法。

那麼 EM 演算法是什麼？它和最大似然估計又有什麼關係呢？EM 演算法是一種求解最大似然估計的方法，通過觀測樣本，來找出樣本的模型引數。

再回過來看下開頭我給你舉的分菜的這個例子，實際上最終我們想要的是碟子 A 和碟子 B 中菜的份量，你可以把它們理解為想要求得的 模型引數 。然後我們通過 EM 演算法中的 E 步來進行觀察，然後通過 M 步來進行調整 A 和 B 的引數，最後讓碟子 A 和碟子 B 的引數不再發生變化為止。

實際我們遇到的問題，比分菜複雜。我再給你舉個一個投擲硬幣的例子，假設我們有 A 和 B 兩枚硬幣，我們做了 5 組實驗，每組實驗投擲 10 次，然後統計出現正面的次數，實驗結果如下：

投擲硬幣這個過程中存在隱含的資料，即我們事先並不知道每次投擲的硬幣是 A 還是 B。假設我們知道這個隱含的資料，並將它完善，可以得到下面的結果：

我們現在想要求得硬幣 A 和 B 出現正面次數的概率，可以直接求得：

而實際情況是我不知道每次投擲的硬幣是 A 還是 B，那麼如何求得硬幣 A 和硬幣 B 出現正面的概率呢？

這裡就需要採用 EM 演算法的思想。

1. 初始化引數。我們假設硬幣 A 和 B 的正面概率（隨機指定）是θA=0.5 和θB=0.9。

2. 計算期望值。假設實驗 1 投擲的是硬幣 A，那麼正面次數為 5 的概率為：

公式中的 C(10,5) 代表的是 10 個裡面取 5 個的組合方式，也就是排列組合公式，0.5 的 5 次方乘以 0.5 的 5 次方代表的是其中一次為 5 次為正面，5 次為反面的概率，然後再乘以 C(10,5) 等於正面次數為 5 的概率。

假設實驗 1 是投擲的硬幣 B ，那麼正面次數為 5 的概率為：

所以實驗 1 更有可能投擲的是硬幣 A。

然後我們對實驗 2~5 重複上面的計算過程，可以推理出來硬幣順序應該是{A，A，B，B，A}。

這個過程實際上是通過假設的引數來估計未知引數，即“每次投擲是哪枚硬幣”。

3. 通過猜測的結果{A, A, B, B, A}來完善初始化的引數θA 和θB。

然後一直重複第二步和第三步，直到引數不再發生變化。

簡單總結下上面的步驟，你能看出 EM 演算法中的 E 步驟就是通過舊的引數來計算隱藏變數。然後在 M 步驟中，通過得到的隱藏變數的結果來重新估計引數。直到引數不再發生變化，得到我們想要的結果。

EM 聚類的工作原理

上面你能看到 EM 演算法最直接的應用就是求引數估計。如果我們把潛在類別當做隱藏變數，樣本看做觀察值，就可以把聚類問題轉化為引數估計問題。這也就是 EM 聚類的原理。

相比於 K-Means 演算法，EM 聚類更加靈活，比如下面這兩種情況，K-Means 會得到下面的聚類結果。

因為 K-Means 是通過距離來區分樣本之間的差別的，且每個樣本在計算的時候只能屬於一個分類，稱之為是硬聚類演算法。而 EM 聚類在求解的過程中，實際上每個樣本都有一定的概率和每個聚類相關，叫做軟聚類演算法。

你可以把 EM 演算法理解成為是一個框架，在這個框架中可以採用不同的模型來用 EM 進行求解。常用的 EM 聚類有 GMM 高斯混合模型和 HMM 隱馬爾科夫模型。GMM（高斯混合模型）聚類就是 EM 聚類的一種。比如上面這兩個圖，可以採用 GMM 來進行聚類。

和 K-Means 一樣，我們事先知道聚類的個數，但是不知道每個樣本分別屬於哪一類。通常，我們可以假設樣本是符合高斯分佈的（也就是正態分佈）。每個高斯分佈都屬於這個模型的組成部分（component），要分成 K 類就相當於是 K 個組成部分。這樣我們可以先初始化每個組成部分的高斯分佈的引數，然後再看來每個樣本是屬於哪個組成部分。這也就是 E 步驟。

再通過得到的這些隱含變數結果，反過來求每個組成部分高斯分佈的引數，即 M 步驟。反覆 EM 步驟，直到每個組成部分的高斯分佈引數不變為止。

這樣也就相當於將樣本按照 GMM 模型進行了 EM 聚類。

三、 如何使用 EM 工具包

在 Python 中有第三方的 EM 演算法工具包。由於 EM 演算法是一個聚類框架，所以你需要明確你要用的具體演算法，比如是採用 GMM 高斯混合模型，還是 HMM 隱馬爾科夫模型。

我們主要講解 GMM 的使用，在使用前你需要引入工具包：

1 from sklearn.mixture import GaussianMixture

我們看下如何在 sklearn 中建立 GMM 聚類。

首先我們使用 gmm = GaussianMixture(n_components=1, covariance_type=‘full’, max_iter=100) 來建立 GMM 聚類，其中有幾個比較主要的引數（GMM 類的構造引數比較多，我篩選了一些主要的進行講解），我分別來講解下：

1.n_components：即高斯混合模型的個數，也就是我們要聚類的個數，預設值為 1。如果你不指定 n_components，最終的聚類結果都會為同一個值。

2.covariance_type：代表協方差型別。一個高斯混合模型的分佈是由均值向量和協方差矩陣決定的，所以協方差的型別也代表了不同的高斯混合模型的特徵。協方差型別有 4 種取值：

covariance_type=full，代表完全協方差，也就是元素都不為 0；

covariance_type=tied，代表相同的完全協方差；

covariance_type=diag，代表對角協方差，也就是對角不為 0，其餘為 0；

covariance_type=spherical，代表球面協方差，非對角為 0，對角完全相同，呈現球面的特性。

3.max_iter：代表最大迭代次數，EM 演算法是由 E 步和 M 步迭代求得最終的模型引數，這裡可以指定最大迭代次數，預設值為 100。

建立完 GMM 聚類器之後，我們就可以傳入資料讓它進行迭代擬合。

我們使用 fit 函式，傳入樣本特徵矩陣，模型會自動生成聚類器，然後使用 prediction=gmm.predict(data) 來對資料進行聚類，傳入你想進行聚類的資料，可以得到聚類結果 prediction。

你能看出來擬合訓練和預測可以傳入相同的特徵矩陣，這是因為聚類是無監督學習，你不需要事先指定聚類的結果，也無法基於先驗的結果經驗來進行學習。只要在訓練過程中傳入特徵值矩陣，機器就會按照特徵值矩陣生成聚類器，然後就可以使用這個聚類器進行聚類了。

四、 如何用 EM 演算法對王者榮耀資料進行聚類

瞭解了 GMM 聚類工具之後，我們看下如何對王者榮耀的英雄資料進行聚類。

首先我們知道聚類的原理是“人以群分，物以類聚”。通過聚類演算法把特徵值相近的資料歸為一類，不同類之間的差異較大，這樣就可以對原始資料進行降維。通過分成幾個組（簇），來研究每個組之間的特性。或者我們也可以把組（簇）的數量適當提升，這樣就可以找到可以互相替換的英雄，比如你的對手選擇了你擅長的英雄之後，你可以選擇另一個英雄作為備選。

我們先看下資料長什麼樣子：

這裡我們收集了 69 名英雄的 20 個特徵屬性，這些屬性分別是最大生命、生命成長、初始生命、最大法力、法力成長、初始法力、最高物攻、物攻成長、初始物攻、最大物防、物防成長、初始物防、最大每 5 秒回血、每 5 秒回血成長、初始每 5 秒回血、最大每 5 秒回藍、每 5 秒回藍成長、初始每 5 秒回藍、最大攻速和攻擊範圍等。

具體的資料集你可以在 GitHub 上下載： https://github.com/cystanford/EM_data 。

現在我們需要對王者榮耀的英雄資料進行聚類，我們先設定專案的執行流程：

首先我們需要載入資料來源；

在準備階段，我們需要對資料進行探索，包括採用資料視覺化技術，讓我們對英雄屬性以及這些屬性之間的關係理解更加深刻，然後對資料質量進行評估，是否進行資料清洗，最後進行特徵選擇方便後續的聚類演算法；

聚類階段：選擇適合的聚類模型，這裡我們採用 GMM 高斯混合模型進行聚類，並輸出聚類結果，對結果進行分析。

按照上面的步驟，我們來編寫下程式碼。完整的程式碼如下：

 1 # -*- coding: utf-8 -*-
 2 
 3 import pandas as pd
 4 
 5 import csv
 6 
 7 import matplotlib.pyplot as plt
 8 
 9 import seaborn as sns
10 
11 from sklearn.mixture import GaussianMixture
12 
13 from sklearn.preprocessing import StandardScaler
14 
15 # 資料載入，避免中文亂碼問題
16 
17 data_ori = pd.read_csv('./heros7.csv', encoding = 'gb18030')
18 
19 features = [u'最大生命',u'生命成長',u'初始生命',u'最大法力', u'法力成長',u'初始法力',u'最高物攻',u'物攻成長',u'初始物攻',u'最大物防',u'物防成長',u'初始物防', u'最大每 5 秒回血', u'每 5 秒回血成長', u'初始每 5 秒回血', u'最大每 5 秒回藍', u'每 5 秒回藍成長', u'初始每 5 秒回藍', u'最大攻速', u'攻擊範圍']
20 
21 data = data_ori[features]
22 
23 # 對英雄屬性之間的關係進行視覺化分析
24 
25 # 設定 plt 正確顯示中文
26 
27 plt.rcParams['font.sans-serif']=['SimHei'] # 用來正常顯示中文標籤
28 
29 plt.rcParams['axes.unicode_minus']=False # 用來正常顯示負號
30 
31 # 用熱力圖呈現 features_mean 欄位之間的相關性
32 
33 corr = data[features].corr()
34 
35 plt.figure(figsize=(14,14))
36 
37 # annot=True 顯示每個方格的資料
38 
39 sns.heatmap(corr, annot=True)
40 
41 plt.show()
42 
43 # 相關性大的屬性保留一個，因此可以對屬性進行降維
44 
45 features_remain = [u'最大生命', u'初始生命', u'最大法力', u'最高物攻', u'初始物攻', u'最大物防', u'初始物防', u'最大每 5 秒回血', u'最大每 5 秒回藍', u'初始每 5 秒回藍', u'最大攻速', u'攻擊範圍']
46 
47 data = data_ori[features_remain]
48 
49 data[u'最大攻速'] = data[u'最大攻速'].apply(lambda x: float(x.strip('%'))/100)
50 
51 data[u'攻擊範圍']=data[u'攻擊範圍'].map({'遠端':1,'近戰':0})
52 
53 # 採用 Z-Score 規範化資料，保證每個特徵維度的資料均值為 0，方差為 1
54 
55 ss = StandardScaler()
56 
57 data = ss.fit_transform(data)
58 
59 # 構造 GMM 聚類
60 
61 gmm = GaussianMixture(n_components=30, covariance_type='full')
62 
63 gmm.fit(data)
64 
65 # 訓練資料
66 
67 prediction = gmm.predict(data)
68 
69 print(prediction)
70 
71 # 將分組結果輸出到 CSV 檔案中
72 
73 data_ori.insert(0, '分組', prediction)
74 
75 data_ori.to_csv('./hero_out.csv', index=False, sep=',')

執行結果如下：

1 [28 14  8  9  5  5 15  8  3 14 18 14  9  7 16 18 13  3  5  4 19 12  4 12
2 
3 12 12  4 17 24  2  7  2  2 24  2  2 24  6 20 22 22 24 24  2  2 22 14 20
4 
5 14 24 26 29 27 25 25 28 11  1 23  5 11  0 10 28 21 29 29 29 17]

同時你也能看到輸出的聚類結果檔案 hero_out.csv（它儲存在你本地執行的資料夾裡，程式會自動輸出這個檔案，你可以自己看下）。

我來簡單講解下程式的幾個模組。

關於引用包

首先我們會用 DataFrame 資料結構來儲存讀取的資料，最後的聚類結果會寫入到 CSV 檔案中，因此會用到 pandas 和 CSV 工具包。另外我們需要對資料進行視覺化，採用熱力圖展現屬性之間的相關性，這裡會用到 matplotlib.pyplot 和 seaborn 工具包。在資料規範化中我們使用到了 Z-Score 規範化，用到了 StandardScaler 類，最後我們還會用到 sklearn 中的 GaussianMixture 類進行聚類。

資料視覺化的探索

你能看到我們將 20 個英雄屬性之間的關係用熱力圖呈現了出來，中間的數字代表兩個屬性之間的關係係數，最大值為 1，代表完全正相關，關係係數越大代表相關性越大。從圖中你能看出來“最大生命”“生命成長”和“初始生命”這三個屬性的相關性大，我們只需要保留一個屬性即可。同理我們也可以對其他相關性大的屬性進行篩選，保留一個。你在程式碼中可以看到，我用 features_remain 陣列保留了特徵選擇的屬性，這樣就將原本的 20 個屬性降維到了 13 個屬性。

關於資料規範化

我們能看到“最大攻速”這個屬性值是百分數，不適合做矩陣運算，因此我們需要將百分數轉化為小數。我們也看到“攻擊範圍”這個欄位的取值為遠端或者近戰，也不適合矩陣運算，我們將取值做個對映，用 1 代表遠端，0 代表近戰。然後採用 Z-Score 規範化，對特徵矩陣進行規範化。

在聚類階段

我們採用了 GMM 高斯混合模型，並將結果輸出到 CSV 檔案中。

這裡我將輸出的結果截取了一段（設定聚類個數為 30）：

第一列代表的是分組（簇），我們能看到張飛、程咬金分到了一組，牛魔、白起是一組，老夫子自己是一組，達摩、典韋是一組。聚類的特點是相同類別之間的屬性值相近，不同類別的屬性值差異大。因此如果你擅長用典韋這個英雄，不防試試達摩這個英雄。同樣你也可以在張飛和程咬金中進行切換。這樣就算你的英雄被別人選中了，你依然可以有備選的英雄可以使用。

&n