邏輯迴歸

• 1. 模型引入
• 2. 模型描述
• 3. 模型求解策略（代價函式）
• 4. 模型求解演算法 - 梯度下降

1. 模型引入

線性模型可以進行迴歸學習（參見【機器學習模型1】- 線性迴歸），但如何用於分類任務？需要找一個單調可微函式將分類任務的真實標記y與線性迴歸模型的預測值聯絡起來。
對於二分類任務，輸出標記 $y$ 取值 $\{$

0 , 1 } \{0, 1\} ，而線性迴歸預測值 $z=w^{}$

T x + b z = w^Tx+b 屬於實數集 $R$，所以需要一個變換使實值 $z$

z 對映到 $0/1$ 值。
引入 $Sigmoid$ 函式： $y=\frac{1}{1+e^{-z}}$，可以將 $z$ 值轉為一個接近0或1的 $y$ 值，而且單調可微。影象如下：

2. 模型描述

根據廣義線性模型 $y=g^{-1}(\theta^T x)$定義，將Sigmoid函式作為 $g^{-1}()$代入：
$h_\theta(x) = \frac{1}{1+e^{-\theta^T x}}$

對數機率函式：邏輯迴歸也稱為對數機率函式。

• $h_\theta(x)$反映了作為正例的可能性 ，則 $1-h_\theta(x)$ 反映了作為負例的可能性
• 所以 $\frac{h_\theta(x)}{1-h_\theta(x)}$反映了作為正例的相對可能性， $\frac{h_\theta(x)}{1-h_\theta(x)} > 1$，則為正例，稱為 “機率”。
• $ln\frac{h_\theta(x)}{1-h_\theta(x)}$ 為 “對數機率”

所以，邏輯迴歸實際上是用線性迴歸模型的預測來逼近真實的對數機率。

3. 模型求解策略（代價函式）

1） 代價函式公式：
$J(\theta) = -\frac{1}{m}\sum_{i=1}^{m}[ y^{(i)}lnh_\theta(x^{(i)})+(1-y^{(i)})ln(1-h_\theta(x^{(i)})) ]$
2）推導過程：
極大似然法 ：根據給定資料集，最大化對數似然函式：
$L(\theta) = \sum_{i=1}^{m}lnP(y^{(i)}|x;\theta)$由於 y 只能取 0 / 1，所以
$P(y=0|x;\theta) = h_\theta(x)=\frac{1}{1+e^{-\theta^T x}}\\ P(y=1|x;\theta) = 1-h_\theta(x)=\frac{e^{-\theta^T x}}{1+e^{-\theta^T x}} = \frac{1}{e^{\theta^T x}+1} \\$所以：

相關推薦