極大似然估計

標籤（空格分隔）： 數學

最大似然估計（maximun likelihood estimate）是一種統計方法，它用來求一個樣本集的相關概率密度函式的引數。這個方法最早是遺傳學家以及統計學家哦羅納德·費雪爵士在1912至1922年間開始使用的。
似然是對likelihood的一種較為貼切的文言文的翻譯，似然用現代的中文來說即“可能性”。故而稱之為“最大可能性估計”則更加通俗易懂。
最大似然估計（極大似然估計），通俗理解，就是利用已知的樣本結果資訊，反推最具有可能導致這些樣本結果出現的模型引數值。換言之就是，極大似然估計提供了一種給定觀察資料來評估模型引數的方法，即：“模型一定，引數未知”。
當一個模型滿足某個分佈，他的引數值我通過極大似然估計法求出來的話。

假設有一個造幣廠生成某種硬幣，現在我們拿到了一枚這種硬幣，想試試這硬幣是不是均勻的。即想知道拋這枚硬幣，正反面出現的概率（記為\(\theta\)）各為多少？

這是一個統計問題，解決統計問題需要資料，於是我們拿了這枚硬幣拋了詩詞，得到的資料(\(x_0\))是：反正正正正反正正正反。我們想求的正面概率\(\theta\)是模型引數，而拋硬幣模型我們可以假設是二項分佈。

那麼出現實驗結果\(x_0\)的似然函式是多少呢？

注意、這是個只關於\(\theta\)

即在已經知道拋十次硬幣出現\(x_0\)這種情況下，硬幣出現正面的概率也就是\(\theta\)，在最符合\(x_0\)的情況下\(\theta\)的值最有可能是0.7。
極大似然估計：通過已知的模型獲取模型引數。

最大後驗概率

最大似然估計是求引數\(\theta\)，使似然函式\(p(x_0|\theta)\)最大。最大後驗概率估計則是想求\(\theta\)使\(P(x_0|\theta)P(\theta)\)

最大後驗概率估計其實是在最大化\(P(\theta|x_0)=\frac{P(x_0|\theta)P(\theta)}{P(x_0)}\),不過因為\(x_0\)是確定的（即投出的“反正正正正反正正正反”），\(P(x_0)\)是一個已知值，所以去掉了分母\(P(x_0)\)（假設“投10次硬幣”是一個實驗，實驗做了1000次，\(x_0\)出現了\(n\)次，則\(P(x_0)=\frac{n}{1000}\)，總之這是一個可以由資料集收集到的值）。最大化\(P(\theta|x_0)\)的意義也很明確，\(x_0\)應出現，要求\(\theta\)取什麼值使\(P(\theta|x_0)\)最大。順帶一提，\(P(\theta|x_0)\)即後驗概率，這就是“最大後驗概率估計”名字的由來。

聯合概率

聯合概率即：\(P(A=a,B=b)\)。給定任何值\(a\)和\(b\)，聯合概率可以回答\(A=a\)和\(B=b\)同時滿足的概率是多少？請注意，對於任何\(a\)和\(b\)的取值，\(P(A=a,B=b)\leq P(A=a)\)這點是確定的。

條件概率

\(0\leq\frac{P(A=a,B=b)}{A=a}\leq1\)，這個比率就被稱之為條件概率並用\(P(B=b|A=a)\)表示：它是\(A=a\)一定發生的情況下\(B=b\)的概率。

貝葉斯定理

使用條件概率的定義，我們可以得出統計學中最有用和最著名的方程之一：Bayes's theoren它如下所示。通過構造，我們有乘法規則，\(P(A,B)=P(B|A)P(A)\)：A，B同時發生的概率為A發生的概率乘以A一定發生情況下B發生的概率。根據對稱性，這也適用於\(P(A,B)=P(A|B)P(B)\)。假設\(P(B)>0\),求解其中一個條件變數，我們得到$$P(A|B)=\frac{P(B|A)P(A)}{P(B)}\tag2$$。
請注意，在這裡我們使用更緊湊的表示法，其中\(P(A,B)\)是一個聯合分佈，\(P(A|B)\)是一個條件分佈。這種分佈可以在在給定值\(A=a,B=b\)上進行求值。

邊際化

如果我們想從另一件事中推斷一件事，但我們只知道相反方向的屬性，比如因和果的時候，Bayes定理是非常有用的，正如我們將在本節後面看到的那樣。為了能進行這項工作，我們需要一個重要操作是邊際化。這項工作是從\(P(A,B)\)中確定\(P(B)\)的操作。我們可以看到，\(B\)的高鋁相當於計算\(A\)d額所有可能選擇，並將所有選擇的聯合概率聚合在一起。$$P(B)=\sum_AP(A,b)\tag3$$這也稱為求和規則，邊際化結果的概率或分佈稱為邊際概率或邊際分佈。
[1]: https://x-powerblog.oss-cn-beijing.aliyuncs.com/相簿/squares_plot.png