1. 程式人生 > >機器學習_概率密度函式和似然函式

機器學習_概率密度函式和似然函式

【1】離散的概率分佈律:p(x=k)=pk。這樣可以一目瞭然的看出x所可能的取值和對應的概率。

【2】對於連續隨機變數來說,p(x=k)=(x為k的個數/總個數),因為總個數無窮個,概率趨向於0。所以我們引入概率密度函式,一目瞭然看出落在x的某一值附近的概率大小(兩方面理解:1.連續不說某一值的概率,而是區間。2.概率的大小是積分,而當積分割槽域無限小,就可以看成一條直線,即y值)

      所以在連續隨機變數上引入密度函式可以得到和離散的概率分佈一樣的效果!也就是說概率密度函式也就是概率!

【3】似然函式:


1、有兩個問題:問題一:似然函式不是概率密度函式麼  解釋一下:概率密度函式的本質就是概率,見上面分析  問題二:似然函式的具體是用來形容什麼的?一種解釋是觀測值出現的概率,即樣本點的聯合分佈函式

2、常說的概率指的是給定引數後,即將發生的事件的可能性。

      而似然函式真好相反,我們不再關注事件的發生概率,而是已知發生了某些事件,我們希望知道引數是多少?

      所以總結一下:似然函式其實是關於觀測值出現的概率函式,我們求得使似然函式最大的引數,得到希望知道的分佈。

                               似然函式實質就是概率密度函式。只是似然函式中已知x求引數,而概率密度函式是已知引數來求x發生的概率值的 

                               這種相同又不同的關係才產生了以下小故事:在英語語境裡,likelihood 和 probability (也就是概率的英文)的日常使用是可以互換的,都表示對機會 (chance) 的同義替代。但在數學中,probability 這一指代是有嚴格的定義的,即符合柯爾莫果洛夫公理 (Kolmogorov axioms) 的一種數學物件
(換句話說,不是所有的可以用0到1之間的數所表示的物件都能稱為概率),而 likelihood (function) 這一概念是由Fisher提出,他採用這個詞,也是為了凸顯他所要表述的數學物件既和 probability 有千絲萬縷的聯絡,但又不完全一樣的這一感覺。中文把它們一個翻譯為概率一個翻譯為似然也是獨具匠心。