前言

每次上吳恩達老師的機器學習課，總是能帶給我一些不同的東西（恩，換句話說，也就是我之前都學的啥？？）。這次終於開始寫邏輯迴歸了，邏輯迴歸真的是一個非常了不起的演算法，恩，學到後來你會發現，誒，怎麼哪裡都有它？
這裡首先向強調的一點是，邏輯迴歸是一個線性分類器，用做分類的，而且是線性的，千萬不要以為sigmoid函式是非線性的，它就是非線性的了。

看一個演算法，照李航老師所說，你應該看三部分：模型、策略、演算法。
其實看的挺累的，我每次都記不住，所以導致我學的真的有點凌亂。
最近在不斷的完善不斷的完善，我覺得在看一個演算法之前，可以先想以下三個問題：

1. 這個演算法是幹嘛的？分類的？迴歸的？聚類的？首先搞清楚這個演算法的目的是什麼。由此可得其原始資料的大致形式。
2. 這個演算法的求解方式是什麼？如果是分類，那他的分類超平面如何定義？迴歸，它的學習策略是如何計算殘差的？如果是聚類，樣本點之間的距離如何計算？
3. 這個演算法如何學習？可能是解析解，可能是梯度下降等方法？

經過這三個部分你就能很好的瞭解，至少是清楚一個演算法的結構了。

邏輯迴歸

• 目的是什麼
  恩，首先還是先要明確這個演算法是幹嘛的，再三強調，邏輯迴歸是用來做二分類的，是一個線性分類器。
  首先來看一下效果：
  
  
  邏輯迴歸效果
  
  這裡不同顏色指的是不同類別，中間的線定義的是一個分離超平面，該線兩邊設定為不同的類別。當然，這裡正確率很明顯不是100%，但是沒關係，我們這裡主要是強調有一個分離超平面是用來分類的。

也就是說，我們的目的是為了得到這樣的一個分離超平面，去對資料進行分類。

• 求解方式

  求解方式是什麼呢？也就是我們想要得到這個分離超平面，那要怎麼做？

  一般說來，我們有一個sigmoid函式，我們認為將x$x$和引數w$w$輸入到該函式中，能得到一個該樣本分類為1的概率。（實際上並不是隨意認為的，有嚴格的數學推導，詳情請見sigmoid函式推導。）
  

  
  hw(x)=P(y=1|x;w)=11+e−wTx$h_w(x)=P(y=1|x;w)=\frac{1}{1+e^{-w^{T}x}}$
  
  當P(y=1|x;w)>0.5$P(y=1|x;w)>0.5$時，我們就將它預測為類別1，否則預測為類別0。
  實際上，
  
  P
  (y=1|x;w)>0.5⇒11+e−wTx>0.5⇒wTx>0$P(y=1|x;w)>0.5\Rightarrow \frac{1}{1+e^{-w^{T}x}}>0.5\Rightarrow w^{T}x>0$
  。
  所以最終我們可以得到，分離超平面的方程式其實就是
  
  wTx=0$w^{T}x=0$
  
  所以我們的分離超平面就這麼定義出來了，那麼怎樣求這個w$w$便是我們的演算法部分了，也就這個演算法是怎麼學習的？

• 演算法如何學習？
  根據我們對引數進行估計的方法：極大似然估計法對引數w$w$進行估計。
  首先定義極大似然函式：
  

  
  L(w)=P(y=1|x;w)yiP(y=0|x;w)1−yi$L(w)=P(y=1|x;w{)}^{y_i}P(y=0|x;w{)}^{1-y_i}$
  
  令：π(x)=P(y=1|x;w)$\pi (x)=P(y=1|x;w)$，則1−π(x)=P(y=0|x;w)$1-\pi (x)=P(y=0|x;w)$，則有：
  
  L(w)=π(x)yi(1−π(x))1−yi$L(w)=\pi (x{)}^{y_i}(1-\pi (x){)}^{1-y_i}$
  
  對極大似然函式取對數（極大似然法的一般步驟），同時將π(x)=P(y=1|x;w)=11+e−wTx$\pi (x)=P(y=1|x;w)=\frac{1}{1+e^{-w^{T}x}}$代入，可得：
  
  logL(w)=∑niyi(wxi)−log(1+ewxi)$\log L(w)=\sum _i^n{y}_i(w{x}_i)-\log (1+e^{w{x}_i})$
  
  最後對上述式子進行極大化，可以採用梯度上升或者牛頓方法，最終我們可以估計出w$w$，從而得到分離超平面。當然如下損失函式所示，便是直接加了負號求最小。

• 感知器的區別
  這裡我還是想寫這一點，因為我本人在學習的時候也是非常的困惑，既然邏輯迴歸也是使得wTx>0$w^{T}x>0$的時候預測為1，否則預測為另一個類，這個和支援向量機又有什麼區別呢?支援向量機不也是使得wTx>0$w^{T}x>0$的時候預測為1，否則預測為-1。兩者彷彿只是差在一個輸入時標籤的區別？
  其實兩者的差別挺小的，主要在於損失函式不同，即對應錯分樣本懲罰力度不同，而且邏輯迴歸多了一個概率解釋。可以參見部落格，裡面講的挺詳細的。
  感知器的損失函式為：
  

  
  L=−y(wTx)w,x∈R
  相關推薦

  Machine Learning Series No.2 --Logistic Regression

  前言 每次上吳恩達老師的機器學習課，總是能帶給我一些不同的東西（恩，換句話說，也就是我之前都學的啥？？）。這次終於開始寫邏輯迴歸了，邏輯迴歸真的是一個非常了不起的演算法，恩，學到後來你會發現，誒，怎麼哪裡都有它？ 這裡首先向強調的一點是，邏輯迴歸是一個線性分

  Machine Learning Tutorial: The Multinomial Logistic Regression (Softmax Regression)

  In the previous two machine learnin

  Machine Learning Series No.4 -- Decision Trees

  決策樹 決策樹的總結可以劃分為以下兩個問題： 1.結點如何分裂？ 2.如何剪枝？ 剪枝有多重策略，常用的是代價複雜度剪枝（Cost complexity pruning），又叫最弱連線剪枝（weakest link pruning）。 剪枝策

  Machine Learning Series No.5 -- Boosting & Bagging

  提升方法 主要可以分為兩大類：Boosting & Bagging Boosting 主要代表演算法是Adaboost。 Boosting策略主要關注降低偏差。 Boosting的基分類器之間彼此序列，每一輪都更新樣本的權重，更

  Machine Learning Series No.9 -- HMM(Hidden Markov Model)

  隱馬爾科夫模型(Hidden Markov Model, HMM) 1.生成模型，對p(x,y)p(x,y)進行建模 2.符號說明 SYMBOLS meanings

  Machine Learning Series No.6 -- EM algorithm

  EM演算法 1.直觀理解 通俗的理解看出就是EM演算法由於不知道隱變數的分佈，先給出引數的隨機初始值，然後根據引數，去得到隱變數的分佈，然後根據隱變數和觀測變數的共同分佈基於最大似然去重新估計引數，知道引數穩定。 2.數學推導 極大似然估計：

  1.2.9&1.2.10 【Deep Learning翻譯系列】Logistic Regression Gradient Descent 對數機率迴歸的梯度下降

  我們按如下方式設定了對數機率迴歸， z=wTx+b, z = w T

  一起學習《MACHINE LEARNING YEARNING》(2)

  Setting up development and test sets（主題） 5.Your development and test sets 回到最初的貓咪圖片的例子，你發行了一個app，使用者上傳各種事物的圖片到app上，你希望自動發現貓咪的圖片。 你的團隊從網

  1.2 Logistic Regression with a Neural Network mindset

    關於為何開始在部落格上做筆記，一是為了強迫自己多進行總結，不能學過，就放過，得過且過；二是為了鍛鍊自己的文筆，好讓自己以後在寫論文的時候不至於寫出語法不暢的糟糕文章。這一專欄主要是記錄我在做作業過程中的一些感想，或者是總結。希望通過藉助部落格的形式，能讓我不斷地掃清知識點

  Stanford機器學習筆記-2.Logistic Regression

  Content: 2 Logistic Regression.  　　2.1 Classification.  　　2.2 Hypothesis representation.  　　　　2.2.1 Interpreting hypothesis output.  　　2.

  Machine Learning - week 2 - Multivariate Linear Regression

  learning itl 技術分享 隨著 刪除 mean 9.png ear 可能性 Gradient Descent in Practice - Feature Scaling Make sure features are on a similar scale. Fe

  1.2.11 【Deep Learning翻譯系列】Explanation of Logistic Regression Cost Function 對數機率迴歸代價函式的說明

  視訊地址 本視訊給出在對數機率迴歸使用這個成本函式的理由。 在之前的對數機率迴歸中，預測 y ^

  【Machine Learning, Coursera】機器學習Week3 Logistic Regression

  Logistic Regression Logistic regression is a method for classifying data into discrete outcomes. 邏輯迴歸將資料歸類為離散的結果並輸出 Exam

  [Machine Learning (Andrew NG courses)]V. Octave Tutorial (Week 2)

  img and learning text net con fonts http .net [Machine Learning (Andrew NG courses)]V. Octave Tutorial (Week 2)

  分類和邏輯回歸(Classification and logistic regression)，廣義線性模型(Generalized Linear Models) ，生成學習算法(Generative Learning algorithms)

  line learning nbsp ear 回歸 logs http zdb del 分類和邏輯回歸(Classification and logistic regression) http://www.cnblogs.com/czdbest/p/5768467.html

  課程一(Neural Networks and Deep Learning)總結：Logistic Regression

  pdf idt note hub blog bsp http learn gre -------------------------------------------------------------------------

  2013 UBC Machine Learning NO.6 Bayesian learning

  org bsp AC https inf tps edi wikipedia bayesian https://en.wikipedia.org/wiki/Ba

  CS229 Machine Learning作業代碼:Problem Set 2

  貝葉斯分類 correct log pan rect ref time -- computed 垃圾郵件過濾(多項式事件模型貝葉斯分類器) 公式推導 直接參考：https://www.cnblogs.com/qpswwww/p/9308786.html 註意，這裏為了數值穩

  機器學習實戰（Machine Learning in Action）學習筆記————05.Logistic迴歸

  機器學習實戰（Machine Learning in Action）學習筆記————05.Logistic迴歸關鍵字：Logistic迴歸、python、原始碼解析、測試作者：米倉山下時間：2018-10-26機器學習實戰（Machine Learning in Action,@author: Peter H

  【學習筆記】Pattern Recognition&Machine Learning [1.2] Probability Theory(2) 基於高斯分佈和貝葉斯理論的曲線擬合

      高斯分佈不必贅述，這裡記錄個有意思的東西，即從高斯分佈和貝葉斯理論出發看曲線擬合（即選擇引數w）。     首先假設我們使用多項式擬合曲線，根據泰勒展開的方法，我們可以用有限項多項式在一定精度內擬合任何曲線。  &nb