1 邏輯迴歸的定位

首先，邏輯迴歸是一種分類（Classification）演算法。比如說：

• 給定一封郵件，判斷是不是垃圾郵件
• 給出一個交易明細資料，判斷這個交易是否是欺詐交易
• 給出一個腫瘤檢查的結果資料，判斷這個腫瘤是否為惡性腫瘤

邏輯迴歸是網際網路上最流行也是最有影響力的分類演算法，也是深度學習（Deep Learning）的基本組成單元。

2 先給出一個邏輯迴歸的例子

比如有下面一組資料：
一門考試之前學生的複習時間與這個學生最後是否Pass這門考試的資料

通過這些資料，利用邏輯迴歸演算法進行模型訓練，可以得到最終的模型結果是這個樣子：

這樣，給出任何複習時間，就可以預測出是否通過的概率

3 邏輯迴歸擬合函式：Sigmod函式（邏輯函式）

可以看到，邏輯迴歸最後的分類結果是0/1，因此，我們選擇Sigmod函式（貌似是一個專業術語）來擬合訓練資料。Sigmod函式的形式如下，它的x可以無限取值，但是y就在（0，1）之間

對於最簡單的，只有一個自變數（x）的二元分類（y=0/1）邏輯迴歸中，構造出來的擬合函式為

所以，要得到最終的模型，就是根據樣本點，計算a和b的值.

在上一節的複習時間和考試的例子中，最終計算出引數a=1.5046，b=-4.0777，因此可以得到下面的擬合函式的影象：

4 模型引數的計算方法

Coursera上Stanford大學的機器學習課程是很好的入門課程（雖說入門，但是我學習起來還是特別的吃力），主講人Andrew Ng（吳恩達）原來是Google大腦的負責人，現在在百度負責百度大腦和深度學習，是業界最牛的人之一了。他的課程中詳細講解了在邏輯迴歸中如何來計算模型的引數，我把結論的一頁截圖放在下面：

其中，J就是進行擬合的成本函式：

看起來比較複雜，用我們上一節的例子來解釋：

• m：代表給出的訓練樣本數，也就是20
• h函式：其實代表的是我們的Sigmoid函式，把樣本的X值帶進去，就得到的是引數a，b的函式
• y：就是樣本中實際的y，只有0，1兩個選擇

把樣本的資料都帶入，最後得到的就是引數a，b的一個方程，邏輯迴歸就是求出一個最好的a，b的值，使得這個成本函式J的值最小。
那麼，最終求解a和b就是一個純數學問題了，比如可以用最小二乘法和梯度下降法來求解，純數學的問題就不在這裡展開了

5 多分類邏輯迴歸

生活中不僅僅只有分成兩類的問題，還有分成多個類的問題，比如把郵件分成工作郵件、朋友郵件和垃圾郵件。
多分類的一般思想是：利用多次分成兩類，計算劃分到每一類的概率，取概率最大的。用郵件分類的例子來說就是：

• 將郵件分成“工作/非工作郵件”，可以根據上文的演算法得出工作郵件的概率
• 將郵件分成“朋友/非朋友郵件”，計算出朋友郵件的概率
• 將郵件分成“垃圾/非垃圾郵件”，計算出垃圾郵件的概率

比較三個概率，取最大的那個概率，作為這個郵件的分類結果。