1. 程式人生 > >邏輯回歸--計算概率

邏輯回歸--計算概率

pos star img images 概率計算 ash str 高效 返回

許多問題需要將概率估算值作為輸出。邏輯回歸是一種極其高效的概率計算機制。實際上,您可以通過下兩種方式之一使用返回的概率:

  • “按原樣”
  • 轉換成二元類別

我們來了解一下如何“按原樣”使用概率。假設我們創建一個邏輯回歸模型來預測狗在半夜發出叫聲的概率。我們將此概率稱為:

$$p(bark | night)$$

如果邏輯回歸模型預測 p(bark | night) 的值為 0.05,那麽一年內,狗的主人應該被驚醒約 18 次:

$$startled = p(bark | night) * nights$$$$18 ~= 0.05 * 365$$

在很多情況下,您會將邏輯回歸輸出映射到二元分類問題的解決方案,該二元分類問題的目標是正確預測兩個可能的標簽(例如,“垃圾郵件”或“非垃圾郵件”)中的一個。之後的單元會重點介紹這一內容。

您可能想知道邏輯回歸模型如何確保輸出值始終落在 0 和 1 之間。巧合的是,S 型函數生成的輸出值正好具有這些特性,其定義如下:

$$y‘ = \frac{1}{1 + e^{-(z)}}$$

S 型函數會產生以下曲線圖:

技術分享圖片

圖1 S型函數


如果 z 表示使用邏輯回歸訓練的模型的線性層的輸出,則 S 型(z) 函數會生成一個介於 0 和 1 之間的值(概率)。用數學方法表示為:

$$y‘ = \frac{1}{1 + e^{-(z)}}$$

其中:

  • y‘ 是特定樣本的邏輯回歸模型的輸出。
  • z 是 b + w1x1 + w2x2 + ... wNxN
    • “w”值是該模型學習的權重和偏差。
    • “x”值是特定樣本的特征值。

請註意,“z”也稱為“對數幾率”,因為 S 型函數的對立面表示,z 可定義為標簽“1”(例如“狗叫”)的概率除以標簽“0”(例如“狗不叫”)的概率得出的值的對數:

$$z = log(\frac{y}{1-y})$$

以下是具有機器學習標簽的 S 型函數:

技術分享圖片


引用

邏輯回歸 (Logistic Regression):計算概率

邏輯回歸--計算概率