分類問題的本質是確定樣本 $x$ 屬於類別 $c_{i}$ 的概率 $p (C_{i} | x)$ 。在上週整理的分類問題中，我們採用生成式方法，藉助貝葉斯公式和極大似然估計，首先計算出 $p (x | C_{i})$ 和 $p (x, C_{i})$ ，然後再計算出 $p (C_{i} | x)$ 。以二分類為例：

\begin{matrix} (1) & p (C_{1} | x) = \frac{p (C_{1}, x)}{p (x)} = \frac{p (x | C_{1}) p (C_{1})}{p (x)} = \frac{p (x | C_{1}) p (C_{1})}{p (x | C_{1}) p (C_{1}) + p (x | C_{2}) p (C_{2})} \end{matrix}

如果 $p (C_{1} | x) > 0.5$

p (C_{1} | x) > 0.5

，則將

x

歸入類別

C_{1}

；如果

p (C_{1} | x) < 0.5

，則將

x

歸入類別

C_{2}

。一般情況下，我們將

p (x | C_{1})

和

p (x | C_{2})

假設成服從不同

μ_{1}

，

μ_{2}

但是相同

Σ

的高斯分佈。因為高斯分佈是自然界中最常見的一種分佈，兩個分佈同用一個協方差矩陣

Σ

有助於減少引數數目，防止過擬合。

Logistic迴歸推導

現在我們嘗試對上述後驗概率（1）進行變形

\begin{array}{rcl} p (C_{1} | x) & = & \frac{p (x | C_{1}) p (C_{1})}{p (x | C_{1}) p (C_{1}) + p (x | C_{2}) p (C_{2})} \\ = & \frac{1}{1 + \frac{p (x | C_{2}) p (C_{2})}{p (x | C_{1}) p (C_{1})}} \\ = & \frac{1}{1 + e x p (- z)} \\ = & σ (z) \end{array}

機器學習系列（八）——Logistic迴歸解決二分類問題

Logistic迴歸推導

機器學習系列（八）——Logistic迴歸解決二分類問題

Spark2.0機器學習系列之2：Logistic迴歸及Binary分類（二分問題）結果評估

機器學習筆記（三）Logistic迴歸模型

機器學習筆記（四）Logistic迴歸實現及正則化

機器學習筆記（四）Logistic迴歸

機器學習系列（2）：logistic迴歸，貝葉斯（bayes）方法

機器學習實戰（八）分類迴歸樹CART（Classification And Regression Tree）

機器學習實戰（四）邏輯迴歸LR（Logistic Regression）

迴歸演算法（python code）----------機器學習系列（一）

機器學習筆記（八）非線性變換

機器學習實戰（七）線性迴歸（Linear Regression）

機器學習總結（八）決策樹ID3，C4.5演算法，CART演算法

機器學習筆記（一）線性迴歸模型

機器學習筆記（八）：PCA降維演算法

機器學習實踐（八）—sklearn之交叉驗證與引數調優

機器學習系列（一）——理論基礎

機器學習筆記（八）-吳恩達視訊課程（支援向量機SVM）

機器學習筆記（八）：強化學習

分散式快取技術redis學習系列（八）——JedisCluster原始碼解讀：叢集初始化、slot(槽)的分配、值的存取

前端學習系列——（八）CSS樣式優先順序

機器學習系列（八）——Logistic迴歸解決二分類問題

Logistic迴歸推導

相關推薦