馬上要成為一個ML/DL方向的工程師，PRML作為經典教材，對於理解一些常用演算法的intuition和motivation是非常有益的。雖然是2006年出版的一本書，但是有很多內容仍然值得學習和反思。加之本書有一些習題可以鞏固思考，今天開始踏入PRML的學習。

① 理論基礎

如何根據貝葉斯理論推導多項式曲線擬合問題的損失函式，這個需要的基本概率論基礎如下

• 加法公式
  

  p(X)=∑Yp(X,Y)$$p(X)=\sum _{Y}p(X,Y)$$

• 乘法公式
  

  p(X,Y)=p(Y|X)p(X)$$p(X,Y)=p(Y|X)p(X)$$

• 貝葉斯公式
  

  p(Y|X)=p(X|Y)p(Y)p(X)$$p(Y|X)=$$
  p(X|Y)p(Y)p(X)
  其中，p(X,Y)=p(Y,X)$$p(X,Y)=p(Y,X)$$,p(X)=∑Yp(X|Y)p(Y)$$p(X)=\sum _{Y}p(X|Y)p(Y)$$
  還有值得注意的是，在貝葉斯公式中，分母P(X)$P(X)$被視為讓條件概率之和為1（所有yi情況）的normalization constant——正則因子。
  在後面敘述利用引數w$w$來作多項式擬合曲線中，我們假設先捕捉到關於w$w$的概率，用先驗概率p(w)$p(w)$表示。觀測資料為D={t1,...,tN}$D=\{t_1,...,t_N\}$，用條件概率p(D|w)$p(D|w)$表示。p(D|w)$p(D|w)$可以視為引數向量w$w$的函式，稱為似然函式。因此，可以採用貝葉斯定理，形式如下：
  
  p(w|D)=p(D|w)p(w)p(D)$$p(w|D)=\frac{p(D|w)p(w)}{p(D)}$$
  PRML的作者Bishop不止一次強調：p(D)$p(D)$在貝葉斯公式中的作用就是讓左邊的p(w|D)$p(w|D)$關於w$w$的積分為1，限制其規模，算是一個正則常數（normalization constatnt），即
  p(D)=∫p(D|w)p(w)dw$$p(D)=\int p(D|w)p(w)dw$$
  在貝葉斯理論中，我們認為w$w$是不確定的，而D$D$是已知的——通過觀測得到的唯一一組資料。貝葉斯理論的優點在於：先驗知識的產生是自然的。比如對55開的投硬幣問題，如果連續投3次，每次都是正面朝上，那麼傳統的最大似然估計估計就會錯誤的認為正面朝上的概率為1。而貝葉斯方法則會給出一個不會出現這種極端情況的先驗概率。
  當然，貝葉斯方法也有缺點，它的典型缺點是：先驗分佈是不提供資訊的
  。 貝葉斯方法的先驗概率選擇是基於數學上的方便而非其它先驗資訊的反映，所以，如果使用的貝葉斯方法先前的選擇糟糕，那麼會給糟糕的結果很高的置信度。

下面介紹一下高斯分佈/正態分佈，它是最為重要的一種分佈，對於單個實值變數x$x$，其高斯分佈為：

N(μ,σ2)=12πσ2−−−−√exp{−12σ2(x−μ)2}$$N(\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}exp\{-\frac{1}{2{\sigma }^2}(x-\mu {)}^2\}$$

其中，μ$\mu$為均值，σ2${\sigma }^2$為方差，σ$\sigma$為標準差。這裡還定義了一個β=1/σ2$\beta =1/{\sigma }^2$，稱為精度。

當x$x$為D$D$維向量組成的連續型變數時，其高斯分佈的新形式為：

這裡，∑=σTσ

相關推薦