1. 程式人生 > >生成模型 VS 判別模型

生成模型 VS 判別模型

監督學習方法又分生成方法(Generative approach)和判別方法(Discriminative approach),所學到的模型分別稱為生成模型(Generative Model)和判別模(Discriminative Model)。

判別模型:由資料直接學習決策函式Y=f(X)或者條件概率分佈P(Y|X)作為預測的模型,即判別模型。基本思想是有限樣本條件下建立判別函式,不考慮樣本的產生模型,直接研究預測模型。典型的判別模型包括k近鄰,感知級,決策樹,支援向量機等。

生成模型:由資料學習聯合概率密度分佈P(X,Y),然後求出條件概率分佈P(Y|X)作為預測的模型,即生成模型:P(Y|X)= P(X,Y)/ P(X)。基本思想是首先建立樣本的聯合概率概率密度模型P(X,Y),然後再得到後驗概率P(Y|X),再利用它進行分類。常見的有NB HMM模型。

簡單來說,判別模型就是直接採用輸入特徵去預測輸出,或者說是條件概率。而生成模型關注的是抓去樣本的分佈特徵,通過建立每個類別的特徵分佈,最終建立的很多類別的生成器來覺得到底哪個最像。