1. 程式人生 > >多元分佈和狄利克雷分佈

多元分佈和狄利克雷分佈

將二元分佈的二元情況擴充套件到多元,即可得到對應的多元分佈。

首先先將伯努利分佈擴充套件到多元假設對於離散變數xx,可能有KK個取值,那麼xx一次的觀測值被表示為一個向量,且滿足Kk=1xk=1∑k=1Kxk=1,僅有一個維的值為11,其它都為00。 故xx的概率質量函式為:

p(x|μ)=ΠKk=1μxkkp(x|μ)=Πk=1Kμkxk

μμ也為一個KK維向量。且$p(x{k}=1)=\mu_k ,\sum{k=1}^K\mu_k=1$。對應的方差為

E[x|μ]=xp(x|μ)x=(μ1,...,μK)T=μE[x|μ]=∑xp(x|μ)x=(μ1,...,μK)T=μ

經過NN次觀察得到資料集DD,則對應的似然函式為

p(D|μ)=ΠNn=1ΠKk=1μxnkk=ΠKk=1μ(nxnk)k=ΠKk=1μmkkp(D|μ)=Πn=1NΠk=1Kμkxnk=Πk=1Kμk(∑nxnk)=Πk=1Kμkmk

其中mk=nxnkmk=∑nxnk表示觀測NN次,其中觀測值為第kk個的次數。它也是該分佈的充分估計量。通過最大似然法估計

相關推薦

多元分佈分佈

將二元分佈的二元情況擴充套件到多元,即可得到對應的多元分佈。 首先先將伯努利分佈擴充套件到多元假設對於離散變數xx,可能有KK個取值,那麼xx一次的觀測值被表示為一個向量,且滿足∑Kk=1xk=1∑k=1Kxk=1,僅有一個維的值為11,其它都為00。

伯努分佈、二項分佈、多項分佈、貝塔分佈分佈、高斯分佈

伯努利分佈: 伯努利分佈(Bernoulli distribution)又名兩點分佈或0-1分佈,介紹伯努利分佈前首先需要引入伯努利試驗(Bernoulli trial)。 伯努利試驗是隻有兩種可能結果的單次隨機試驗,即對於一個隨機變數X而言: 伯努利試驗都可以表達為“是或否”

分佈的matlab程式碼實現R語言函式呼叫

主要參考的是:https://www.douban.com/note/45584915/ 和 http://www.biostatistic.net/thread-33740-1-1.html 最近需要用到狄利克雷分佈,但是找了半天發現matlab沒有現成的工具可用。只

主題模型TopicModel:隱含分佈LDA

主題模型LDA簡介隱含狄利克雷分佈簡稱LDA(Latent Dirichlet allocation),首先由Blei, David M.、吳恩達和Jordan, Michael I於2003年提出,目前在文字挖掘領域包括文字主題識別、文字分類以及文字相似度計算方面都有應用。

The Dirichlet Distribution 分佈 (PRML 2.2.1)

Dirichlet分佈可以看做是分佈之上的分佈。如何理解這句話,我們可以先舉個例子:假設我們有一個骰子,其有六面,分別為{1,2,3,4,5,6}。現在我們做了10000次投擲的實驗,得到的實驗結果是六面分別出現了{2000,2000,2000,2000,1000,1000}次,如果用每一面出現的次數與試

分佈通俗講解

今天來講一下dirichlet distribution和dirichlet process怎麼回事。力求讓初學者看懂,而且我比較追求motivation,追求數學嚴謹性和簡潔性的大神請移步不要看了。不喜歡看各種細節的也可以直接跳著看文中的結論。 實際上這是學習nonparametric bayesian裡常

常用的概率分佈:二項式分佈,貝塔分佈分佈

知識點:伯努利分佈、二項式分佈、多項式分佈、先驗概率,後驗概率,共軛分佈、貝塔分佈、貝塔-二項分佈、負二項分佈、狄裡克雷分佈,伽馬函式、分佈 一,伯努利分佈(bernouli distribution) 又叫做0-1分佈,指一次隨機試驗,結果只有兩種

DPMM(過程混合模型)淺解新增似然函式的問題

先說說Dirichlet Process 要了解DP,推薦兩篇文章Redford Neal的Markov Chain Sampling Methods for Dirichlet Process Mixture Models 和 Xiaodong Yu的 Gi

卷積&&杜教篩&&莫比烏斯反演

pos cnblogs title tar sdn aid www. article 前綴 狄利克雷卷積和莫比烏斯反演:鏈接 淺談一類積性函數的前綴和: 鏈接 賈誌鵬線性篩: 鏈接   讀賈誌鵬線性篩有感 (莫比烏斯函數的應用)   莫比烏斯函數 狄利

洛谷P3768 簡單的數學題(莫比烏斯反演+卷積+杜教篩)

ostream str lar .com 數學 logs tomato define show 傳送門 不會…… 兩篇加在一起都看不懂…… https://www.cnblogs.com/cellular-

【學習筆記】 與莫比烏斯

數論 學習筆記 卷積 加法 結果 整數 class 知識 rac Ahead 10.9.2018 前置知識 數論函數 指一個正整數集對一個數集的映射 可以看成 N+->R 加法 若函數 \(f(x) + g(x) = h(x)\) 那麽 \(h(x) = \sum_{

卷積與莫比烏斯反演

- 概念引入   - 數論函式     指定義域為正整數的函式     定義其加法為逐項相加,即$(f + g)(n) = f(n) + g(n)$     定義其數乘為逐項相乘,即$(xf)(n) = x × f(n)$   - 單位元     單位元是集合中一種特別的元素,當單位元與其它元素

莫比烏斯反演 卷積 杜教篩 學習筆記

前置知識:一些數論函式,比如尤拉函式、莫比烏斯函式的一些性質,積性函式及性質,整除分塊。 這裡預設大家會前置知識,如果不會請自行學習。 之前嘗試看過,結果後來都忘光了,於是還是決定應該寫個學習筆記記錄一下。 首先開始介紹莫比烏斯反演。 我們設

卷積到杜教篩

狄利克雷卷積 積性函式 定義: 對於數論函式\(f\),若對於任意互質的數\(x,y\),滿足\(f(x*y)=f(x)*f(y)\),則\(f\)為一個積性函式。 事實上,我們見過的大部分數論函式都是積性函式,常見的如: \(\mu(x)\),莫比烏斯函式,在莫比烏斯反演有討論過。

杜教篩(整除分塊,積性函式,尤拉與莫比烏斯,卷積)

參考資料 整除分塊: 當我們求∑ni=1f([ni])∑i=1nf([ni])的時候,如果1到n求一遍感覺太傻了,因為會有很多重複的計算,例如:n=10000時,i在[101,111]時,都有[ni]=9[ni]=9,所以我們只需要對所有數分成如上的一個

卷積學習筆記

狄利克雷卷積 得記下來,不然很容易忘記呀 數論函式 數論函式:定義域是正整數,值域是一個數集 兩個數論函式加法 ,逐項相加 $(f+g)(n) = f(n) + g(n)$ 數乘 , 這個數和每一項乘:$(xf)(n)=x*f(n)$ 積性函式:對於一個數論函式f滿足對於任意$(x,y)=1$,有$f(

(數論一)積性函式與卷積

​ 今天做的一道題就是有關積性函式與狄利克雷卷積的,很懵逼。覺得有必要學一手了 一. 積性函式是什麼呢? ​ 對於函式f,對於任意的a,b互質,都有: f(a * b) = f(a) * f(b) ​ 這樣的函式f就稱為積性函式,若a,b不互質也滿足上述條

BZOJ3601. 一個人的數論(高斯消元+卷積)

isp 一個 swap 由於 oid rac mod -m bzoj3 題目鏈接 https://www.lydsy.com/JudgeOnline/problem.php?id=3601 題解 首先還是基本的推式子: \[\begin{aligned}f_d(n) &am

BZOJ3601. 一個人的數論(高斯消元+卷積)及關於「前 $n$ 個正整數的 $k$ 次冪之和是 $k+1$ 次多項式」的證明

題目連結 https://www.lydsy.com/JudgeOnline/problem.php?id=3601 題解 首先還是基本的推式子: \[\begin{aligned}f_d(n) &= \sum_{i = 1}^n [{\rm gcd}(i, n) = 1]i^d \\ &am

P3768 簡單的數學題 [卷積,杜教篩,莫比烏斯反演]

簡單的數學題 題目連線 題目描述 輸入一個正整數n,n≤1010n,n\le 10^{10}n,n≤1010和p,p≤1.1×109p,p \le 1.1 \times 10^9p,p≤1.1×109