《機器學習》對數機率迴歸——筆記

阿新 • • 發佈：2018-12-24

對數機率迴歸不是迴歸函式而是分類函式。

廣義線性模型 $y=g^{^{-1}}(w^{^{T}}x+b)$

提出問題：需要找到一個單調可微函式將分類任務的真實標記y與線性迴歸模型的預測值聯絡起來

線性迴歸預測值 $z=w^{^{T}}x+b$ ，應用於分類問題一般選用“單位階躍函式”

$y=\left\{\begin{matrix}0,z<0 & \\ 0.5,z=0 & \\ 1,z>0 & \end{matrix}\right.$

但階躍函式不連續，而對數機率函式正好可以替代階躍函式，它單調可微，函式表示式為

$y=\frac{1}{1+e^{^{-z}}}$ 把線性模型代入得到

$y=\frac{1}{1+e^{^{-(w^{^{T}}+b))}}}$ (1)

根據對數形式進行更新變形為：

$ln\frac{y}{1-y}=w^{^{T}}x+b$ (2)

y視為樣本x為正例的可能性，1-y則放映了做為反例的可能性。

利用對數機率迴歸進行分類的優點：

1.無需視線假設資料分佈，避免了分佈不準確所帶來的問題；

2.不僅預測出類別，而且磕到近似概率預測；

3.任意階磕到的凸函式，比較好優化；

下面推到怎樣求模型中的w和b：

對於某一個分類任務，結果輸出（0，1）

根據式子(1)中的y視為類後驗概率估計 $p(y=1|x)$

則式子(2)可以寫成： $ln\frac{p(y=1|x)}{p(y=0|x))}=w^{T}x+b$

與 $p(y=1|x)+p(y=0|x)=1$

組合解出：

$p(y=1|x) = \frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$

$p(y=0|x) = \frac{1}{1+e^{w^{T}x+b}}$

可以通過最大似然估計來計算w和b，給定資料集 $(x{_{i}},y{_{i}}){_{i=1}^{m}}$ ,對率迴歸模型最大化“對數似然”：

$L(w,b)=\sum lnp(y{_{i}}|x{_{i}};w,b)$

為了方便令 $\beta =(w;b),\grave{x}=(x;1)$ 則 $w^{^{T}}x+b$ 可簡化為 $\beta ^{^{T}}\hat{x}$

再令

$p{_{1}}(\check{x};\beta )=p(y=1|\check{x};\beta )=\frac{e^{\beta ^{T}x{_{i}}}}{1+e^{\beta ^{T}x{_{i}}}}$

$p{_{0}}(\check{x};\beta )=p(y=0|\check{x};\beta )=1-p{_{1}}(\check{x};\beta )=1-\frac{1}{1+e^{\beta ^{T}x{_{i}}}}$

根據最大似然估計代入對數似然模型中得到

$L(w,b)=\sum(-y{_{i}}\beta^{T}x{_{i}}+ln(1+e^{\beta^{T}x{_{i}}})))$

上式是關於 $\beta$ 的高階可導連續凸函式，根據凸優化理論，經典的數值優化演算法如梯度下降法、牛頓法等求得最優解

演算法思路：

《機器學習》對數機率迴歸——筆記

對數機率迴歸不是迴歸函式而是分類函式。廣義線性模型提出問題：需要找到一個單調可微函式將分類任務的真實標記y與線性迴歸模型的預測值聯絡起來線性迴歸預測值，應用於分類問題一般選用“單位階躍函式” 但階躍函式不連續，而對數機率函式正好可以替代階躍函式，它單

機器學習之線性迴歸筆記

平臺：windows10 64位 IDE：Pycharm Python版本：Python3.5 github程式碼：原始碼 1 目錄 2 迴歸的理解迴歸是由高爾頓最先在生物遺傳上提出的，線上性迴歸中，與其說其為迴歸，不如說線性擬合更合

python實現周志華西瓜書《機器學習》習題3.3對數機率迴歸

python小白入手，第一個程式。首先感謝大牛的原始碼： https://blog.csdn.net/onthewaygogoing/article/details/68485682 大牛的思路很巧妙，把矩陣操作轉化成列表操作，時刻保證列表代表的矩陣維度一致。我

對數機率迴歸-機器學習

資料集百度網盤，就是西瓜書3.0a的資料。首先，載入資料，load_data（file)函式。def load_data(file): s =[] with open(file) as f: for line in f.readlines

小白學習機器學習---第三章(2):對數機率迴歸python實現

上程式碼~~~~~~~~###梯度下降法實現多元線性迴歸 def loadDataSet(): ###資料匯入函式### dataMatrix=[] #資料矩陣，第一列是w=1.0，第2,3列是特徵 labelMatrix=[] #標籤矩陣

機器學習5- 對數機率迴歸+Python實現

[toc] ## 1. 對數機率迴歸考慮二分類任務，其輸出標記 $y \in \{0, 1\}$，記線性迴歸模型產生的預測值 $z=\boldsymbol{w}^T\boldsymbol{x} + b$ 是實值，於是我們需要一個將實值 $z$ 轉換為 $0/1$ 的 $g^{-}(\cdot)$。最理想

線性模型，線性迴歸，對數機率迴歸(Logistic regression)的理解與推導(深度學習前戲( ╯□╰ ))

對數機率迴歸（logistic regression），有時候會譯為邏輯迴歸(音譯)，其實是我們把迴歸模型應用到分類問題時，線性迴歸的一種變形，主要是針對二分類提出的。既然是線性迴歸的一種變形，那麼在理解對數機率迴歸時，我們先來了解一下什麼是線性迴歸。 1.線性迴歸 1. 1線性方程

機器學習之線性迴歸-AndrewNg學習筆記

監督學習從討論監督學習問題的例子出發，假設我們有某個地區住房面積和相應房價的資料集合。對於這樣的給定的資料，我們的目的是要利用已有的資訊，來對房價建立預測模型。即對於給定的房屋資訊(房屋面積)預測其房價。把這些資料在圖上表示：為了方便以後的使用，我們首先定義一些

《機器學習實戰》知識點筆記目錄

body cnblogs 機器學習實戰 href post 目錄開始 classify 　　從今天起，開始學習《機器學習實戰》，並記錄學習到的知識點。　　　　　　　　　　　　-- 2017-12-31 1，第2章KNN算法筆記_函數classify0 《機器學

coursera-斯坦福-機器學習-吳恩達-筆記week2

線性歸一化有變擬合分享選擇多元線性回歸縮放轉置 1 多元線性回歸 1.1 假設函數多元線性回歸是指有多個特征特征變量的情況。此時我們修改假設函數hθ(x)=θ0+θ1?x為hθ(x)=θ0+θ1x1+θ2x2+?+θnxn。設x0=1，x為特征向量，θ為參

coursera-斯坦福-機器學習-吳恩達-筆記week3

發生足夠 bfgs clas 方法技術影響限制分享 1 邏輯回歸 1. classification 分類 eg：垃圾郵件分類、交易是否是欺詐、腫瘤類別。分類的結果是離散值。 2. sigmoid函數　　使用線性方法來判斷分類問題，會出現上圖中的問題，需要

結構化機器學習專案_課程筆記_第一、二週

第一週機器學習策略_1 這一門課主要介紹了在具體專案實踐中會遇到的一些問題以及採取的策略。所擷取的圖片依然來源於吳恩達老師的相關視訊資源。 1. 正交化（Orthogonalization） Andrew建議機器學習的調參過程應保持正交化。上圖所示的機器學習的4個流程，每一步的除

機器學習實戰——Logistic迴歸實現記錄

問題：NameError: name 'weights' is not defined 屬於作者的排版錯誤； weights = logRegres.gradAscent(dataArr,labelMat) 所以： weig

機器學習實戰——樹迴歸實現記錄

問題：同一個檔案下定義了兩個引數，如果需要呼叫另一個，需要把另一個放在前面定義 def regLeaf(dataSet):#returns the value used for each leaf return mean(dataSet[:,-1]) def regErr(dataSe

機器學習實戰之迴歸

轉自：https://www.cnblogs.com/zy230530/p/6942458.html 一，引言　　　　前面講到的基本都是分類問題，分類問題的目標變數是標稱型資料，或者離散型資料。而回歸的目標變數為連續型，也即是迴歸對連續型變數做出預測，最直接的辦法是依據輸入寫出一個目標值的計算公式，這樣

機器學習入門線性迴歸及梯度下降

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！

李巨集毅機器學習P11 Logistic Regression 筆記

我們要找的是一個概率。 f即x屬於C1的機率。上面的過程就是logistic regression。下面將logistic regression與linear regression作比較。接下來訓練模型，看看模型的好壞。假設有N組trainin

<機器學習實戰>讀書筆記--樸素貝葉斯

1.樸素貝葉斯法是基於貝葉斯定理與特徵條件獨立假設的分類方法，最為廣泛的兩種分類模型是決策樹模型(Decision Tree Model)和樸素貝葉斯模型（Naive Bayesian Model，NBM） 2.樸素貝葉斯公式 P(B|A)的意思是在A事件的情況下，發生B事件的概率。 3.樸素貝

機器學習實現——線性迴歸

線性迴歸，作為機器學習入門，比較好理解，小學數學中y=kx+b到研究生階段開始進行了深度研究，之前用兩對引數確定兩個未知數，現在用n對引數來估計一套近似值，不過由於未知數的數量，以及線性模型的不確定，要讓線性迴歸達到一個預測未來還是相當有難度的。隨著一些重要的模型和深度學習的引入，線性迴歸雖

機器學習演算法 - 線性迴歸

線性迴歸演算法解決迴歸問題思想簡單，容易實現許多強大的非線性模型的基礎結果具有很好的可解釋性蘊含機器學習中很多重要的思想$$y=ax_i +b$$ 樣本特徵只有一個的線性迴歸問題，為簡單線性迴歸。樣本特徵有多個的線性迴歸問題

《機器學習》對數機率迴歸——筆記

相關推薦