似然函式與概率密度函式的區別
阿新 • • 發佈:2019-01-14
條件概率密度與似然函式有著千絲萬縷的關係,兩者所表示的意義不同,但是大多數情況下,兩者數值上是相等的(量綱不等)。而在有些時候,兩者數值又是不等的。
1. 引入
現代估計理論在許多設計用來提取資訊的電子訊號處理系統中隨處可見,這些系統包括雷達訊號處理、聲納、蜂窩網路等。
在所有的這些系統中,我們都將面對根據連續時間波形(觀測資料)提取引數的問題,由於使用數字計算機來取樣並儲存連續時間波形,因此該問題就等價於從離散時間波形或一組資料集中提取引數的問題。從數學概念上來說,我們有個數據的資料集, 它與未知引數有關,我們希望根據資料來確定,定義如下的估計量
其中表示的對映,這就是引數估計問題。
2. 問題描述
那麼如何從根據觀測量來確定估計量呢? 在確定好的估計量時,第一步就是建立數學模型。由於資料固有的隨機性,我們用它的概率密度函式(Probability density function,PDF)來描述它,即,或。這是一個以 為未知引數的函式,即我們有一族(cluster)PDF,其中的每一個PDF由於的不同而不同。因此,我們使用“分號”來表示這種關係。注意,這裡的自變數是。此外,可以是單變數,也可以是多變數。
為了方便理解,我們假設是單變數的情況,並且與觀測量之間的關係表示如下
如圖所示,由於的值不同影響的概率。因此,我們可以根據觀測到的值能夠推斷出的值。比如,若在附近,那麼更為合理。
基於這樣的PDF的估計是經典估計中的一種。然而,在實際系統中,我們通常會掌握一些未知引數的先驗資訊(prior information),比如的範圍,又或者的先驗概率密度。若已知的範圍,我們可以對原來的進行截短,來提高估計精度。若已知的先驗概率密度,我們可以通過貝葉斯公式,用聯合PDF進行描述
注意,這裡的條件概率密度。而不是似然函式。那麼兩者有什麼區別呢?
- ,表示在發生的條件下