1. 程式人生 > >伯努利模型的極大似然估計和貝葉斯估計

伯努利模型的極大似然估計和貝葉斯估計

  定義隨機變數A為一次伯努利試驗的結果,AA的取值為[0,1],概率分佈為P(A)P(A):P(A=1)=θP(A=0)=1θP(A=1)=\theta\\P(A=0)=1-\theta下面分別使用極大似然估計和貝葉斯估計來估計θ\theta

  1. 極大似然估計
    L(θ)=i=1nP(Ai)=θk(1θ)nk L(\theta) = \prod_{i=1}^{n}P(A_i) = \theta^k(1-\theta)^{n-k}

AiA_i代表第ii次隨機試驗

logL(θ)=l

ogi=1nP(Ai)=logθk+log(1θ)nk=klogθ+(nk)log(1θ) \begin{aligned} logL(\theta)&=log\prod_{i=1}^{n}P(A_i) = log\theta^k + log(1-\theta)^{n-k}\\ &=klog\theta+(n-k)log(1-\theta) \end{aligned}
對公式兩邊同時求導,並求當導數等於零時的θ\theta值,如下
L(θ)θ=k1θ+(nk)11θ \dfrac{\partial{L(\theta)}}{\partial{\theta}}=k·\dfrac{1}{\theta} + (n-k)·\dfrac{-1}{1-\theta}

L(θ)θ=0令\dfrac{\partial{L(\theta)}}{\partial{\theta}}=0,可得θ=kn\theta=\dfrac{k}{n}。此時θ\theta滿足θ=argmaxθL(θ)\theta = \mathop{\arg\max} \limits_{\theta}L(\theta)

  1. 貝葉斯估計
    P(θA1,A2,,An)=P(A1,A2,,Anθ)π(θ)P(A1,A2,,An) P(\theta |A_1,A_2,\dots,A_n)=\dfrac{P(A_1,A_2,\dots,A_n|\theta)·\pi(\theta)}{P(A_1,A_2,\dots,A_n)}

  根據觀察到的結果修正θ\theta,也就是假設θ\theta是隨機變數,θ\theta服從β\beta分佈,有很多可能取值,我們要取的值是在已知觀察結果的條件下使θ\theta出現概率最大的值。
θ=argmaxθP(A1,A2,,Anθ)P(θ)=argmaxθP(Aiθ)P(θ)=argmaxθθk(1θ)nkθa1(1θ)b1 \begin{aligned} \theta&=\mathop{\arg\max} \limits_{\theta} \ P(A_1,A_2,\dots,A_n|\theta)·P(\theta) \\ &=\mathop{\arg\max} \limits_{\theta} \prod P(A_i|\theta)P(\theta)\\ &=\mathop{\arg\max} \limits_{\theta} \theta^k(1-\theta)^{n-k}\theta^{a-1}(1-\theta)^{b-1} \end{aligned}

求解同上,得θ=k+(a1)n+(a1)+(b1)\theta = \dfrac{k+(a-1)}{n+(a-1)+(b-1)},其中a,ba,bβ\beta分佈中的引數β(θ;a,b)=θa1(1θ)b1C\beta(\theta;a,b)=\dfrac{\theta^{a-1}(1-\theta)^{b-1}}{C},CC為常數,選定a,ba,b後就可以確定θ\theta