線性分類-感知機模型

思想

錯誤驅動

假設資料 $ {(x_i,y_i)}_{i = 1}^{N}、x_i \in R^p、y \in {-1, 1}$

對於感知機模型：

\[f(x) = sign(w^Tx) \quad x\in R^p, w \in R^p \\ sing(a) = \begin{cases} +1 \quad a ≥ 0 \\ -1 \quad a < 0 \end{cases} \]

根據錯誤思想我們可以寫出損失函式：

\[L(w) = \sum_{i = 1}^{N}I(y_iw^Tx_i < 0) \quad \quad (1) \\ L(w) = \sum_{x_i \in D} - y_iw^Tx_i \quad \quad \quad (2)\\ D 表示為錯誤分類點的集合 \]

首先對於 \((1)\)

式設計，首先基於錯誤驅動的思想，我們統計錯誤分類的點數，然後更新 \(w\) ，減少錯誤 分類的點數：

\[I() 為指示函式，當裡面式子為 True 取 1，False 取 0\\ \]

而我們知道正確分類由下式：

\[w^Tx_i > 0 \quad \quad y_i = +1 \quad \quad (3)\\ w^Tx_i < 0 \quad \quad y_i = -1 \quad \quad (4)\\ 將 (3)(4) 式進行合併 \\ 也就是 y_iw^Tx_i > 0 \\ 那麼對於錯誤分類的點自然就是 \\ y_iw^Tx_i > 0 \]

但是由於式 \((1)\)

不可導，所以我們直接利用 \(y_i w^Tx_i < 0\)

\[w \rightarrow w + \Delta \\ 對於上式 \\ y_i w^T x_i = \alpha \\ y_i (w^T +\Delta) x_i = \alpha + \Delta \\ 也是產生微小的變化 \]

所以 loss function 為：

\[L(w) = \sum_{x_i \in D} - y_iw^Tx_i \]

那麼我們對於求 \(w\) ，可以用隨機梯度下降法：

\[\frac{\partial L(w)}{\partial w} = -y_ix_i \\ w^{(t + 1)} = w^{(t)} + \lambda y_ix_i \]