在機器學習領域，很多模型都是屬於廣義線性模型（Generalized Linear Model, GLM），如線性迴歸，邏輯迴歸，Softmax迴歸等。

廣義線性模型有3個基本假設:

（1） 樣本觀測值 $y_i$滿足帶引數 $\eta$

\eta η的指數分佈族。即GLM是基於指數分佈族的，所以我們先來看一下指數分佈族的一般形式：
$p(y;\eta )$

= b ( y ) e x p ( η

T T ( y ) − a ( η ) ) p(y;\eta)=b(y)exp(\eta^TT(y)-a(\eta))

其中， $\eta$ 為自然引數，在一般情況下， $\eta$為實數（多項式分佈中 $\eta$為向量）。 $T(y)$為充分統計量（一般情況下，如高斯分佈和伯努利分佈中， $T(y)=y$）。 $a(\eta)$為累積量函式。給定 $T,a,b$, 通過引數 $\eta$ ，我們可以得到指數分佈族中的各類分佈。

進一步解釋下什麼是充分統計量： $T(y)$是未知分佈 $p$引數 $\theta$的充分統計量，當且僅當 $T(y)$能夠提供 $\theta$的全部資訊。比如在正態分佈中，樣本均值和方差就是未知的正態分佈的充分統計量，因為這兩個引數可以完全描述整個樣本的分佈特性。

對於假設1，換句話說：給定 $x,\theta$, 輸出 $y$ 滿足引數為 $\eta$的指數族分佈。

（2） 分佈模型引數 $\eta$與輸入樣本 $x$呈線性關係，即 $\eta=\theta^{T}x$。(當 $\eta$為變數時， $\eta_i=\theta_i^Tx$）

（3） $h(x)=E[y|x]$(線性迴歸和邏輯迴歸都滿足該式，例如邏輯迴歸中， $h(x)=p(y=1|x;\theta)$,數學期望 $E[y|x]=1*p(y=1|x;\theta)+0*p(y=0|x;\theta)$，因此 $h(x)=E[y|x]$)

接下來，我們首先證明高斯分佈、伯努利分佈和多項式分佈屬於指數分佈族，然後我們由廣義線性模型推匯出線性迴歸，邏輯迴歸和多項式迴歸。這是因為：線性迴歸假設樣本和噪聲服從高斯分佈，邏輯迴歸假設樣本服從伯努利分佈，多項式迴歸假設樣本服從多項式分佈。

注:關於多項式迴歸，會介紹得稍微詳細點。

文章目錄

• 一、證明分佈屬於指數分佈族
• 1.1 證明高斯分佈屬於指數分佈族
• 1.2 證明伯努利分佈屬於指數分佈族
• 1.3 證明多項式分佈屬於指數分佈族
• 二、由GLM推匯出分佈
• 2.1 由廣義線性模型推匯出線性迴歸
• 2.2 由廣義線性模型推匯出邏輯迴歸
• 2.3 由廣義線性模型推匯出多項式迴歸
• 2.3.1 多項式迴歸中求解引數
• 2.3.2 引數冗餘問題
• 2.3.3 Softmax 迴歸 vs. k 個二元分類器
• 參考文獻

一、證明分佈屬於指數分佈族

1.1 證明高斯分佈屬於指數分佈族

因為方差 $\sigma^2$項對我們最終求 $\theta$和 $h_\theta(x)$沒有影響，，因此為了簡化計算，我們令 $\sigma=1$:

$\begin{aligned} p(y;u)&={1\over \sqrt{2\pi}\sigma}exp(-{(y-u)^2\over 2\sigma^2})\\ &= {1\over \sqrt{2\pi}}exp(-{(y-u)^2\over 2})\\ &={1\over \sqrt{2\pi}}exp(-{1\over 2}y^2)*exp(uy-{1\over 2}u^2) \end{aligned}$

因此：
$\begin{aligned} b(y)&={1\over \sqrt{2\pi}}exp(-{1\over 2}y^2)\\ \eta&=u \\ T(y) &=y\\ a(\eta)&={1\over 2}u^2 ={1\over 2}\eta^2 \end{aligned}$

相關推薦