分類問題——Logistic分類器/softmax分類器
阿新 • • 發佈：2018-12-12
Sigmoid
先來了解一個函式——sigmoid：
它所對應的影象為
sigmoid函式中，z作為我們的自變數，它的範圍可以在（-∞，+∞），但是當z對映到sigmoid當中的，它的範圍則為（0，1），這個範圍是不是容易讓你聯想到概率?當我們的概率大於0.5，我們記作正類，當概率小於0.5，記作負類
迴歸原理
有了接下來我們需要確定我們分類的邊界，有時候我們的分類邊界是線性的，有時候分類邊界非線性的，這裡搬兩張吳恩達教授的圖來說明：
我們在確定好分類的邊界後，將其邊界的數學函式記作Z，就是我們sigmoid的那個Z， 假定我們的邊界是線性的：
那麼將其代入sigmoid函式：
對於二分類問題的話，我們得到的是（0，1）兩類結果
整合後：我們利用似然函式
為了計算的方便，我們將其取對數，得到新的函式——對數似然函式：
為了使得我們的模型儘可能的準確，我們需要得到它的最大值，此時引入梯度上升法，引入新的函式：
此時我麼的任務變成了常見的梯度下降任務： 老規矩，先求導：
引數迭代更新：
最後得到一個較優的引數θ，我們的模型建立的過程也差不多快結束了。
Softmax
☞可以借鑑這裡的推導，個人感覺還不錯 簡單來說就是通過Softmax函式使得各個不同的型別所佔的概率相加為1，最後我們將測試的資料代入公式，計算出為每個類別的概率值，最後根據概率值判斷是屬於哪一類：
而我們的目的就是求得較優的引數θ是的模型的效能儘可能的好