機器學習 - 最大熵模型
阿新 • • 發佈:2019-01-01
機器學習 - 最大熵模型
-
最大熵原理
最大熵的思想認為,在所有可能的概率模型(分佈)中,熵最大的模型是最好的模型(對未知的事實視為等概率發生,不新增任何主觀先驗知識)。
我們通常用約束條件來確定概率模型的集合,所以也可認為是在滿足約束條件的模型中選出熵最大的模型。
最大熵模型給出的是最優模型選擇的一個準則。
例:
X = {A, B, C ,D, E},要估計 P(A),…,P(E) 的概率,要滿足條件:
① P(A) + P(B) = 3/10;
② P(A) + … + P(E) = 1此時滿足條件的概率組合有無窮多個,而根據最大熵原理,我們視等概率的組合為最優。
則:
-
最大熵模型
假設分類模型是一個 條件概率分佈 ,此模型表示的是:對於給定輸入 ,以條件概率 輸出 .