損失函式：邏輯迴歸損失函式推導簡記

這裡只推導邏輯迴歸的損失公式。

假設函式

\begin{matrix} (假设函数) & h_{θ} (x) = \frac{1}{1 + e^{- θ^{T} x}} \end{matrix}

p (x) = {\begin{cases} h_{θ} (x), & if y = 1 \\ (1 - h_{θ} (x)), & if y = 0 \end{cases}

總結：如果我們取對數和負值，可以代表對應的成本函式。和似然函式相反的方向。（log只是利於計算）。

c o s t (x, θ) = {\begin{cases} - l o g (h_{θ} (x)), & if y = 1 \\ - l o g (1 - h_{θ} (x)), & if y = 0 \end{cases}

我們找到聯合概率公式：

\begin{matrix} (统一概率) & p (y | x, θ) = h_{θ} (x)^{y} \cdot (1 - h_{θ} (x))^{1 - y}, \end{matrix}

最大似然就是最大化的所有樣本的概率公式：

\begin{matrix} (最大似然) & L (θ) = \prod_{i = 1}^{m} p (y_{i} | x_{i}, θ) \end{matrix}

對數最大似然就是最大化的所有樣本的概率公式：

L (θ) = \sum_{i = 1}^{m} l o g p (y_{i} | x_{i}, θ) = \sum_{i = 1}^{m} [h_{θ} (x_{i}) y_{i} + (1 - h_{θ} (x_{i})) (1 - y_{i})]

我們的目標是最大化似然函式。如果轉化為損失函式，那就是最小化。

\begin{aligned} (37) & J & = - \frac{1}{m} L (θ) \\ (损失函数) & = - \frac{1}{m} \sum_{i = 1}^{m} [h_{θ} (x_{i}) y_{i} + (1 - h_{θ} (x_{i})) (1 - y_{i})] \end{aligned}