Logistic 分類器

分類問題，是機器學習裡最基礎的問題。
我們從最簡單的二分類任務開始考慮，假設我們要分類西瓜是否成熟的話，則對於每一個西瓜來說，就有兩種結果：{熟，不熟}$\{熟，不熟\}$。首先我們必須自己知道如何判斷一個西瓜“熟”或者“不熟”，或者是根據顏色，或者是敲打的聲音，這是下一步我們將其轉成數學的對映關係的基礎。
為了建立數學模型，我們必須將這個判斷西瓜是否成熟的任務轉換成數學關係。假設“熟”對應於數軸上的“1”，不熟對應於數軸上的“0”。下一步我們需要找到兩個對映關係ϕ1${\varphi }_1$，ϕ2${\varphi }_2$。

1. ϕ1${\varphi }_1$將需要分類的西瓜樣本（假設為s$s$）對映到一個數軸上，ϕ1(s)=z${\varphi }_1(s)$
   =z；
2. 再使用ϕ2(z)${\varphi }_2(z)$將第一個對映的結果對映到標籤分類上。

假設分類標記為{0,1}$\{0,1\}$，通常我們會選擇這樣一個階躍函式從而建立起第二個對映ϕ2${\varphi }_2$：

softmax函式

對於二分類任務，由於結果只有兩種，ϕ1(x)${\varphi }_1(x)$將樣本x$x$對映到數軸上。而拓展到多分類任務時，假設有n$n$種結果，那麼ϕ1(x)${\varphi }_1(x)$會對映到一個n$n$維向量（y={c1,c2,...,cn}$y=\{c_1,c_2,...,c_n\}$）當中。向量中的每一維，都對應著一個可能的分類結果（ci=0$c_i=0$或1）。由於結果是互斥的，所以y$y$存在以下n$n$種形式：

先看下softmax函式的公式：

Softmax 的輸出表徵了不同類別之間的相對概率。
假設最後輸出的向量是：