1. 程式人生 > >最大熵方法求概率密度函式

最大熵方法求概率密度函式

現在得到了,代入得到下式:

這就是我們熟悉的正態分佈的形式。

從上面可以看到,在給定約束條件下,基於最大熵原理可以得到某種概率分佈函式,給定常量的均值和方差,可以得出正態分佈,這個思路指明瞭不同的約束會導致不同的概率分佈結果。其他的約束不再討論了。重點是在用這個原理可以求概率分佈,我們可以看到概率分佈已經是指數形式了,所以只是求其中的係數問題,可以通過學習的方法從樣本中得到。

我們來看看其中的引數怎麼求?

這裡會用到上面的結論,約束條件和連續概率密度函式表示式:

為了方便起見,這裡做一個替換得到下面結論:

將概率密度表示式代入概率積分為1的條件可以得到下面結果:

求偏導,得到下式:

整理得到

求偏導數

於是得到

可以看出這是含有的m個方程組。如果從樣本去估計他們的真實引數值會有一點的偏差,因此可以做如下變化:

實際的計算中,只可能是近似等於1,那麼其中的誤差部分就是:

我們希望這樣的誤差要滿足均方誤差最小,即下式:

規劃求解可以得出答案