我們用頻率學角度證明這點。考慮一個貝葉斯推斷，引數為\(\theta\)並且觀測了一個數據集D，由聯合分佈\(p(\theta,D)\)表示.

\[\mathbb{E}_\theta[\theta] = \mathbb{E}_D[\mathbb{E}_\theta[\theta|D]] \tag{2.21} \]

其中
$ \mathbb{E}_\theta[\theta] = \int p(\theta)\theta d\theta \tag{2.22}$

\[\mathbb{E}_{\mathcal{D}}\left[\mathbb{E}_{\boldsymbol{\theta}}[\boldsymbol{\theta} \mid \mathcal{D}]\right] \equiv \int\left\{\int \boldsymbol{\theta} p(\boldsymbol{\theta} \mid \mathcal{D}) \mathrm{d} \boldsymbol{\theta}\right\} p(\mathcal{D}) \mathrm{d} \mathcal{D} \tag{2.23} \]

\(\theta\)

的後驗均值（在產生資料集的分佈上的平均）等於\(\theta\)的先驗均值。同樣的我們可以得到：

\[var_\theta[\theta] = \mathbb{E}_D[var_\theta[\theta|D]] + var_D[\mathbb{E}_\theta[\theta|D]] \tag{2.24} \]

---

\(\mathbb{E}_D[\mathbb{E}_{\theta}[\theta]D]]=\mathbb{E}_D[\int \theta p(\theta|D)d\theta]\)
\(=\mathbb{E}_D[\int \theta \frac{p(\theta,D)}{p(D)}d\theta]\)

\(=\int(\int\theta \frac{p(\theta,D)}{p(D)}d\theta)p(D)dD,-----p(D)可以約去\)
\(=\int\int_{\theta} p(\theta,D)d\theta dD\)
\(=\int_{\theta} \int p(\theta,D)dDd\theta\)
\(=\int_{\theta} p(\theta)d\theta\)
\(=\mathbb{E}_{\theta}[\theta]\)

\(\mathbb{E}_D[var_{\theta}[\theta|D]]+var_D[\mathbb{E}_{\theta}[\theta|D]]\)

\(=\mathbb{E}_D[\mathbb{E}_{\theta}[\theta^2|D] - \mathbb{E}_{\theta}^2[\theta|D]]+\mathbb{E}_D[\mathbb{E}_{\theta}^2[\theta|D]]- \mathbb{E}_D^2[\mathbb{E}_{\theta}[\theta|D]]\)
\(=\mathbb{E}_D[\mathbb{E}_{\theta}[\theta^2|D]] - \mathbb{E}_D[\mathbb{E}_{\theta}^2[\theta|D]]+\mathbb{E}_D[\mathbb{E}_{\theta}^2[\theta|D]]- \mathbb{E}_D^2[\mathbb{E}_{\theta}[\theta|D]]\)
\(=\mathbb{E}_D[\mathbb{E}_{\theta}[\theta^2|D]] - \mathbb{E}_D^2[\mathbb{E}_{\theta}[\theta|D]]\)
\(利用\mathbb{E}_D[\mathbb{E}_{\theta}[\theta|D]] =\mathbb{E}_{\theta}[\theta],得到\mathbb{E}_D[\mathbb{E}_{\theta}[\theta^2|D]] =\mathbb{E}_{\theta}[\theta^2]\)
\(繼續=\mathbb{E}_{\theta}[\theta^2]-\mathbb{E}_{\theta}^2[\theta]\)
\(=var_{\theta}[\theta]\)