首先說明啊：logistic分類器是以Bernoulli（伯努利） 分佈為模型建模的，它可以用來分兩種類別；而softmax分類器以多項式分佈（Multinomial Distribution）為模型建模的，它可以分多種互斥的類別。

補充：

什麼是伯努利分佈？伯努利分佈^[2] 是一種離散分佈,有兩種可能的結果。1表示成功，出現的概率為p(其中0<p<1)。0表示失敗，出現的概率為q=1-p。

什麼是二項分佈？二項分佈即重複多次的伯努利分佈哦；

什麼是多項式分佈？即它把兩種狀態推廣到了多種狀態，是二項分佈的推廣；

Logistic 分類器

要解決什麼樣的問題呢？?假設有一訓練樣本集合X ＝ {x1, x2, x3, ……}，其中樣本 xi 由一系列的屬性表示即，xi = (a1, a2, a3,……），並且對於樣本集合X中的樣本要麼屬於類別0， 要麼屬於類別1.

現在呢，我們有一個測試樣本x, 我們根椐上面的知識來推斷： 樣本x 屬於類別0 還是類別1呢？？

下面來解決這個問題哦：

1，首先引入引數θ＝（θ1，θ2，θ3，……），對於樣本中的屬性進行加權，得到：θ^Tx

2，引入logistic函式（sigmoid函式）:g(z) = 1 / (1 + e^-z), 該函式常作為神經網路裡的啟用函式的；構建這麼一個式子（待會就會明白它的含義）：

logistic函式的影象為：

我們發現呢，它總是介於0－1之間呢，所以呢，我們可以讓 h_θ(x) 函式作為一種概率估計哦，如，我們可以讓它表示樣本 x 屬於類別1的概率，即 P(y = 1 | x; θ) = h_θ

3. 現在我們有： P(y = 1 | x; θ) = h_θ(x) ， 與  P(y = 0 | x; θ) = 1 － h_θ(x)， 那麼呢，我們把它倆聯合起來， 得到：P(y | x; θ) = {h_θ(x)}^y

4. 現在，我們有了 P(y | x; θ) ，它的含義就是在給定樣本 x 與引數 θ 時，標籤為y 的概率； 然後我們還有一個訓練樣本集合（已經每個樣本的標籤）。現在我們假設每一個訓練樣本是獨立的，我們寫出它們聯合概率密度：

注意：上式中，對應的 y⁽ⁱ⁾ 是已經知道的了哦。其實上式中未知的引數就是 θ 。

其實呢，我們寫的上面的公式就是似然函式啦，我們現在要把它最大化。（什麼意思呢？這裡就要看你對擬然函式的理解了。就是說，隨機事件已經發生了，即把每一個樣本對應的標籤作為隨機事件的話，我們已經知道了它們的具體標籤，我們就就認為已經發生的事件即是概率最大的事件，所以呢，公式中唯一確定的就是引數 θ 了，我們要需要選擇合適的引數θ 使似然函式最大化）

4，最大化似然函式，求出合適的引數θ。

把上面的式子變形為：

然後，我們利用梯度下降法來求引數 θ 。

過程大致是這樣的，先對引數θ的求導，即得到梯度，然後呢，再利用梯度下降法的更新原則來更新引數θ就可以了。

求的梯度（注意哦，引數θ＝（θ1，θ2，θ3，……））：

更新法則：

5.現在我們已經得到了參θ了，我們就相當於得到了h_θ(x) ，然後呢，我們就可以用它進行對測試樣本進行分類啦。

softmax分類器

它要解決的問題和上面的差不多，唯一的區別就是類別不侷限於兩類，而是多類了。

要解決什麼樣的問題呢？?假設有一訓練樣本集合X ＝ {x1, x2, x3, ……}，其中樣本 xi 由一系列的屬性表示即，xi = (a1, a2, a3,……），並且對於樣本集合X中的樣本屬於類別C ＝ {c1, c2, c3, ……}中的一種。

現在呢，我們有一個測試樣本x, 我們根椐上面的知識來推斷： 樣本x 屬於哪種類別呢？

現在開始：

首先說一下指數布族，我也沒有花太多的精力放上面哦。

一種形如如下公式的分佈即為指數分佈族：

第二提一下，一個廣義線性模型，其實很多時候，我們很多常見的各種分佈都可以用廣義線性模型來概括。在一個分佈為指數族分佈時，我們如何來定義出一個廣義線性模型呢？作出三個假設：

1，在給定 x 與 引數θ時，y|x 服從以 η 為變數的指數族的分佈：

2， 給定x 時，我們的目標是來預測 T（y)的值。不過在很多時候，T（y) = y;

3， 引數 η ＝θ^Tx; (為什麼呢？ 它就是這麼設計的，廣義線性模型哦）

下面正式推一下softmax迴歸 （可以用它用分類器的哦）

上面已經說了，對於給定的測試樣本 x , 它的輸出 有k種可能 （即可以分為k類），我們分別φ1，φ2，φ3，φ4，……，然後呢，我們定義T（y)如下：

並且定義一個運算 I{真} ＝ 1， I{假} ＝ 0; 所以呢，有：

1，上面的(T（y))_i = I{y = i} ，其中(T（y))_i 表示T（y)的第i 個元素）；

2，E[(T(y))i] = P(y = i) = φi.

下面為推導過程：假設以已經φ的情況，把 p(y; φ)寫出指數分佈族的形式，如下 所示：

注意上面的η是K－1 維的哦，我們現在規定ηk = log(φk/φk) = 0。所以呢， ηi = log（φi / φk),其中i =1,2,……,k)

然後呢，

所以呢，推出：

上面我們假設的φi 已經知道了，其實我們不知道哦，現在我們就推出了怎麼去求φi 了。上面的式子表示了怎麼由ηi去求θi，這就是softmax函式。對於上式的 ηi = θi^T x.(應用上面的第三個假設）。 還因為ηk ＝0，所以呢，我們又規定了θk = 0。（所以，這裡一定注意，θk還是未知數哈，待會用得到這一點）。

其實到這裡基本已經完了，因為我們所關心的φi 已經知道怎麼去求了。

接下來呢，我們來預測T(y)的值哈（看假設的廣義線性模型中的第二點哦）

到這裡就剩下最後一步了，求擬合引數 θ1,θ2,……，θk-1。 可能會問什麼沒有θk呢，因為我們上面規定了θk＝0. 追根到底是因為：φk =1-(φ1+φ2+ ……+φk-1).

如何求呢，我們寫出它的似然函式，然後就可以轉變為：用梯主下降或牛頓法等求最值的問題了。它的擬然函式為：

現在呢，我們把引數已經求出來了，可以解決我們的問題了，即給定了一個測試樣本，我們估計它屬於哪一類。方法是我們分別求出對應的φi, 哪個最大，它就屬於哪一類了。

注意：

最後針對這裡我們推出的softmax函式中的公式為：

要說明一點，這裡的未知數的個數為θ1,θ2,……，θk-1， 而 θk ＝ 0，因為我們只需要求出φ1，φ2， ……，φk-1的值來，我們就能求出φk的值。

而在很多用於分類的神經網路中，最後加的softmax的分類器，它是這樣：公式是相同的，但是呢，把θ1,θ2,……，θk-1，θk作為引數，這樣有一個什麼問題呢，那就是過度引數化了（根本用不著這麼多引數嘛），過度引數化會怎樣啊？ 假如我們對每一個引數θi 減去一個相同的數，變為θi－ψ，然後呢，

發現了，完全不影響假設函式的預測結果哦。

什麼意思呢？？？

所以，在現實中，我們需要對代價函式做一個改動：加入權重衰減。權重衰減可以解決 softmax 迴歸的引數冗餘所帶來的數值問題。

.