作者課堂筆記，有問題請聯絡[email protected]

目錄

• 指數族，廣義線性模型

1 指數族

如果一種分佈可以寫成如下形式，那麼這種分佈屬於指數族： $p(y;\eta)=b(y)e^{\eta^{T}T(y)-a(\eta)}$

• $\eta:$分佈的自然引數
• $T(y):$充分統計量
• $a(\eta):log$的分隔函式($a(\eta)$作為歸一化常量，目的是讓$\sum_yp(y;\eta)=1$
  )

1.1 伯努利分佈

分佈形式： $p(y;\phi)=\phi^y(1-\phi)^{1-y}$

• $\eta=log(\frac{\phi}{1-\phi})$
• $b(y)=1$
• $T(y)=y$
• $a(\eta)=log(1+e^\eta)$

1.2 高斯分佈

$y\sim\chi(\mu,1)$ $p(y;\theta )=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{(y-\mu }{}}$

)22 p(y;\theta)=\frac{1}{\sqrt{2\pi}}e^{-\frac{(y-\mu)^2}{2}}

• $\eta=\mu$
• $b(y)=\frac{1}{\sqrt{2\pi}}e^{\frac{y^2}{2}}$
• $T(y)=y$
• $a(\eta)=\frac{1}{2}\eta^2$

$y\sim\chi(\mu,\sigma^2)$ $p(y;\theta )=\frac{1}{\sqrt{2\pi {\sigma }^2}}{e}^{-\frac{(y}{}}$

−μ)22σ2 p(y;\theta)=\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(y-\mu)^2}{2\sigma^2}}

• $\eta=\begin{bmatrix}\frac{\mu}{\sigma^2}\\-\frac{1}{2\sigma^2}\end{bmatrix}$
• $b(y)=\frac{1}{\sqrt{2\pi}}$
• $T(y)=\begin{bmatrix}y\\y^2\end{bmatrix}$
• $a(\eta)=\frac{\mu}{2\sigma^2}+log\sigma$

1.3 柏鬆分佈

$p(y;\lambda)=\frac{\lambda^ye^{-\lambda}}{y!}$

• $\eta=log(\lambda)$
• $b(y)=\frac{1}{y!}$
• $T(y)=y$
• $a(\eta)=e^\eta$

2 廣義線性模型

通過改變y的分佈，從而更好的擬合數據。是一種構造線性模型的方法，其中Y|X來自於指數族。

來源https://www.sohu.com/a/228212348_349736

廣義線性模型的設計初衷：

• 為了使響應變數y可以有任意的分佈。
• 允許任意的函式（連結函式）可以隨著輸入的x變化。

構建方法：

• y|x;$\theta\sim$指數族分佈（高斯、柏鬆、伯努利…）
• 我們的目標是給定x，預測T(y)的期望，大多數情況是T(y)=y,而在其他情況下可能是E[y|x;$\theta$]
• 自然引數$\eta$和x是線性相關的，滿足$\eta=\theta^Tx$ 如果問題滿足以上的三個假設，那麼我們那就可以構造廣義線性模型來解決問題。

2.1 最小二乘法

應用GLM的構造準則：

• y|x;$\theta\sim N(\mu,1)$ $\eta=\mu,T(y)=y$
• 推導假設函式： $h_\theta(x)=E[y|x;\theta]=\mu=\eta$
• 應用線性模型$\eta=\theta^Tx$ $h_\theta(x)=\eta=\theta^Tx$ 典範響應函式：$\mu=g(\eta)=\eta$ 典範連結函式：$\eta=g^{-1}(\mu)=\mu$

2.2 Logistic迴歸

應用GLM的構造準則：

• y|x;$\theta\sim Bernoulli(\phi)$ $\eta=log(\frac{\phi}{1-\phi}),T(y)=y$
• 推導假設函式： $h_\theta(x)=E[y|x;\theta]=\phi=\frac{1}{1+e^{-\eta}}$
• 應用線性模型$\eta=\theta^Tx$ $h_\theta(x)=\frac{1}{1+e^{-\theta^Tx}}$ 典範響應函式：$\phi=g(\eta)=sigmoid(\eta)$ 典範連結函式：$\eta=g^{-1}(\phi)=logit(\phi)$