機器學習引數模型與非引數模型/生成模型與判別模型
阿新 • • 發佈:2019-01-31
2018-03-31更新:生成模型與判別模型
引數模型:根據預先設計的規則,例如方差損失最小,進行學習,引數模型例子:迴歸(線性迴歸、邏輯迴歸)模型;最好可以看一下或者直接進行一下相關的推導;根據規則,擁有少部分資料就可以;
非引數模型:不需要事先假設規則,直接挖掘潛在資料中的規則;非引數模型例子:KNN,決策樹,挖掘資料潛在的特徵,所以比較靈活;
引數模型缺點:受限制性高
非引數模型缺點:訓練時間長,容易產生過擬合,需要大量資料支撐
前兩年GAN網路(生成對抗網路火了一把,當然,一直在火),我師兄的課題也是這個,但是一直對生成模型和對抗模型概念不夠清晰,今天科普一下!
生成模型:通過大量資料,學習訓練資料分佈,預測時,直接輸出最大後驗概率所屬類別(分類時),常見模型如最大似然估計、樸素貝葉斯等;
判別模型:通過一定的準則函式(經驗最小(無模型複雜化懲罰項)or風險最小(存在懲罰項,主要是為了克服過擬合問題))產生一個判別函式,或者成為超平面,將訓練資料盡最大的可能進行正確切分,預測時(分類)通過判別函式,輸出待測樣本的所屬類別
對比:生成模型學習的是資料分佈,通常需要大量資料支援,而判別模型則是根據一定準則擬合數據,形成一個分割超平面,對資料量的需求來講,相對較少;生成模型訓練較快,而判別模型需要擬合過程,故速度稍慢;