1.監督學習分為生成模型和判別模型

有監督機器學習方法可以分為生成方法和判別方法（常見的生成方法有混合高斯模型、樸素貝葉斯法和隱形馬爾科夫模型等，常見的判別方法有SVM、LR等），生成方法學習出的是生成模型，判別方法學習出的是判別模型。

2.生成模型

生成模型主要是求解聯合概率密度，比如我們有資料集：（C，X），其中（c,x）表示其中一個樣本，c為類別，x為特徵。那麼對於生成模型來說我們需要求解p(x,c)的聯合概率密度，根據貝葉斯概率，p(x,c) = p(x|c)*p(c),所以我們的任務變成了求解p(x|c)的類別條件概率，和p(c)的類別先驗概率。

生成模型的求解思路是：聯合分佈——->求解類別先驗概率和類別條件概率

3.判別模型

還是上面的例子，比如有了(C,X)，其中(c,x)表示一個樣本資料，c為類別，x為特徵，那麼判別模型輸出的就是p(c|x)這個條件概率模型，即輸入特徵x,求輸出類別是c的概率（c關於x的條件概率）。
實際上，這個過程包含了我們“看過”訓練資料得到的後驗知識，根據這個後驗知識和測試集的特徵就可以判斷出測試集的類別。p(c|x) = p(c|x , C,X)，我們認為這個條件概率由引數theta決定，即p(c|x, theta)。
但是theta怎樣求得呢？theta是模型“看過”訓練集後得到的，即theta在訓練集上的後驗分佈p(theta | C,X)。
所以，綜上整個流程為：p(c|x) = p(c|x, C,X) = p(c,theta|x,C,X)關於theta積分 = p(c|x , theta)*p(theta|C,X)關於theta積分。那麼現在的重點就是求p(theta | C,X)，即theta關於訓練集的後驗分佈。
這個後驗分佈對應的似然函式為：p(C | X,theta) = L(theta) = 乘積p(c | x , theta)。
又因為貝葉斯概率： p(theta | C,X)*p(C | X) = p(C | X , theta)*p(theta)。
又：p(C | X) = p(C,theta | X)對theta積分 = p(C | X , theta)* p(theta)對theta積分。

綜上：

條件分佈——>模型引數後驗概率最大——->（似然函式\cdot 引數先驗）最大——->最大似然

4.生成模型和判別模型的優缺點

生成模型：

優點：

• 1）生成給出的是聯合分佈，不僅能夠由聯合分佈計算條件分佈（反之則不行），還可以給出其他資訊，比如可以使用來計算邊緣分佈。如果一個輸入樣本的邊緣分佈很小的話，那麼可以認為學習出的這個模型可能不太適合對這個樣本進行分類，分類效果可能會不好，這也是所謂的outlier
  detection。
• 2）生成模型收斂速度比較快，即當樣本數量較多時，生成模型能更快地收斂於真實模型。
• 3）生成模型能夠應付存在隱變數的情況，比如混合高斯模型就是含有隱變數的生成方法。

缺點：

• 1）天下沒有免費午餐，聯合分佈是能提供更多的資訊，但也需要更多的樣本和更多計算，尤其是為了更準確估計類別條件分佈，需要增加樣本的數目，而且類別條件概率的許多資訊是我們做分類用不到，因而如果我們只需要做分類任務，就浪費了計算資源。
• 2）另外，實踐中多數情況下判別模型效果更好。

判別模型：

優點：

• 1）與生成模型缺點對應，首先是節省計算資源，另外，需要的樣本數量也少於生成模型。
• 2）準確率往往較生成模型高。
• 3）由於直接學習，而不需要求解類別條件概率，所以允許我們對輸入進行抽象（比如降維、構造等），從而能夠簡化學習問題。

缺點：

• 1）是沒有生成模型的上述優點。