1. 程式人生 > >生成式模型(generative) vs 判別式模型(discriminative)

生成式模型(generative) vs 判別式模型(discriminative)

Andrew Ng, On Discriminative vs. Generative classifiers: A comparison of logistic regression and naive Bayes

  • 無論是生成式模型還是判別式模型,都可作為分類器使用,分類器的數學表達即為:給定輸入 X 以及分類變數 Y,求 P(Y|X)

  • 判別式模型直接估算 P(Y|X),或者也可像 SVM 那樣,估算出輸入和輸出之間的對映,與概率無關;

    • 判別式模型的典型代表是:logistic 迴歸;
  • 產生式模型的思想是先估計聯合概率密度 P(X,Y),再通過貝葉斯公式求出 P(Y|X)

    • 生成式模型的典型代表則是:樸素貝葉斯模型;
  • 一般認為判別式模型更受歡迎,“人們更應該直接去解決問題,永遠不要把求解更復雜的問題作為中間階段”(Vapnik),Andrew Ng 的論文[1]對此作了較為全面的分析,產生式模型(樸素貝葉斯)在少量樣本的情況下,可以取得更好的精確率,判別式模型(logistics 迴歸)在樣本增加的情況下,逐漸逼近前者的概率