從零開始機器學習003-邏輯迴歸演算法
阿新 • • 發佈：2018-12-26
老師的課程
1.從零開始進行機器學習
2.機器學習數學基礎(根據學生需求不斷更新)
3.機器學習Python基礎
4.最適合程式設計師的方式學習TensorFlow
問：邏輯迴歸是解決迴歸的問題嗎？
答：不是，邏輯迴歸解決的是分類問題。
一、邏輯迴歸概念
面對一個迴歸或者分類問題，建立代價函式，然後通過優化方法迭代求解出最優的模型引數，然後測試驗證我們這個求解的模型的好壞。
Logistic迴歸雖然名字裡帶“迴歸”，但是它實際上是一種分類方法，主要用於兩分類問題（即輸出只有兩種，分別代表兩個類別）
是什麼手段讓邏輯迴歸只能輸出兩種值呢？答：Sigmoid函式。
二、Sigmoid函式
Logistic函式（或稱為Sigmoid函式），函式形式為
其中e代表著常數 2.71828……
通過下面的圖形可以看到，把任意一個z帶入到Sigmoid函式中，都會得到一個(0,1)之間的值。那麼我們能否把(0,1)之間的值想成是 0-100%的一個概率值呢？我們把概率小於50%的分為不易發生的一類。把剩餘的分為另外一類。這樣就產生了兩個類別。達到分類的目的。這個就是邏輯迴歸作為分類的理論依據。
三、判定條件(分類的那條線)
對多元線性迴歸方程求Sigmoid函式hθ(x)=g(θ0+θ1x1+…+θnxn)，找到一組θ，假設得到−3+x1+x2=0的直線，把樣本分成兩類。把(1,1)代入g函式，概率值<0.5，就判定為負樣本。這條直線就是判定邊界，如下圖：
這條線就是線性迴歸函式，換句話說，引數z就是一個線性迴歸函式。
因此邏輯迴歸函式的表示式如下：
四、代價函式
邏輯迴歸方法主要是用最大似然估計來學習的，所以單個樣本的後驗概率為：
整個樣本的後驗概率就是：
五、最終運用梯度下降求解：
微信公眾號:北國課堂
老師的課程
1.從零開始進行機器學習
2.機器學習數學基礎(根據學生需求不斷更新)
3.機器學習Python基礎
4.最適合程式設計師的方式學習TensorFlow