2. 程式人生 > >損失函式與梯度提升樹

損失函式與梯度提升樹

阿新 • • 發佈：2019-02-01

上一篇文章簡單介紹了幾種整合方法，以隨機森林為代表的平均方法，以adaboost、提升樹為代表的提升方法。本文繼續提升樹的討論，採用梯度提升演算法，分析更一般的損失函式下的分類、迴歸問題。首先介紹幾種在機器學習演算法中常見的損失函式，繼而介紹GBDT演算法。

1、 損失函式

1.1、 分類問題損失函式

在二分類中把

m=y⋅f(x)稱為margin。當m<0時則說明誤分類。基於此，下面介紹幾種常見的分類損失函式。

1.1.1、 0-1損失

表示式為：

L01(m)=I(sign(f)≠y)
或者
L01(m)={0,m⩾01,m<0
即只對誤分類樣本進行懲罰，類似有後列幾種損失。

1.1.2、 指數損失

表示式：

Le=exp(−yf)
Adaboost演算法就是用的此種損失函式。在上一篇文章中有介紹。

1.1.3、 log損失

表示式：

Ll=log(1+exp(−yf))
在邏輯迴歸中用到的損失函式。

1.1.4、均方損失

表示式：

L2=(y−f)2

1.1.5、hinge損失

表示式：

Lh=(1−yf)+
在支援向量機中使用。

1.1.6、偏差損失函式

考慮K分類問題，假設在第k類的概率：

pk(x)=exp(fk(x))∑Kl=1exp(fl(x))
則多項式偏差：
L(y,p(x))=−∑k=1KI(y=gk)logpk(x)=−∑k=1K
I(y=gk)fk(x)+log(∑k=1Kexp(fl(x)))
在gbdt分類中預設使用此損失函式。

1.2、 迴歸問題損失函式

下面介紹三種迴歸問題中常見的的損失函式。

1.2.1、 均方損失

表示式：

L(y,f(x))=(y−f(x))2

1.2.2、絕對損失

表示式：

L(y,f(x))=|y−f(x)|

1.2.3、Huber 損失

表示式：

L(y,f(x))={(y−f(x))2,|y−f(x)|⩽δ2δ(|y−f(x)|−δ2),otherwise
Huber損失相對於前兩種損失更具有魯棒性。

2、 GBDT演算法

上篇文章已經介紹，當分類問題是指數損失，迴歸問題是均方損失時，用提升樹演算法很簡單。當損失函式更為一般時，可以使用梯度提升的方法快速迭代，即為GBDT演算法。在R中的包名為gbm，在python中的sklearn.ensemble目錄下對應GradientBoostingRegressor和GradientBoostingClassifier。

2.1、 分類問題

GBDT在分類中的損失函式可選偏差損失和指數損失，預設是偏差損失，當選擇指數損失時則還原為adaboost演算法。前文已經介紹這兩種損失，主要介紹偏差損失下K分類演算法。

根據偏差損失：

pk(x)=exp(fk(x))∑Kl=1exp(fl(x))
L(y,p(x))=−∑k=1KI(y=gk)logpk(x)=−∑k=1KI(y=gk)fk(x)+log(∑k=

相關推薦

損失函式與梯度提升樹

上一篇文章簡單介紹了幾種整合方法，以隨機森林為代表的平均方法，以adaboost、提升樹為代表的提升方法。本文繼續提升樹的討論，採用梯度提升演算法，分析更一般的損失函式下的分類、迴歸問題。首先介紹幾種在機器學習演算法中常見的損失函式，繼而介紹GBDT演算法。

深度學習（二）損失函式與梯度

文章目錄 損失函式 梯度 25天看完了吳恩達的機器學習以及《深度學習入門》和《tensorflow實戰》兩本書，吳恩達的學習課程只學了理論知識，另外兩本書的程式碼自己敲了一遍，感覺過的太快，趁著跑cGAN的時間把兩本書的知識點總結下，然後繼續深度

機器學習（七）—Adaboost 和 梯度提升樹GBDT

獲得 決策樹 info gin 否則 它的 均方差 但是 ont 1、Adaboost算法原理，優缺點： 　　理論上任何學習器都可以用於Adaboost.但一般來說，使用最廣泛的Adaboost弱學習器是決策樹和神經網絡。對於決策樹，Adaboost分類用了CART分類樹，

Python機器學習之梯度提升樹

pri () 糾正 ensemble depth del gbrt 1.5 cer #和隨機森林一樣，基於決策樹，采用連續的方式構建樹，深度很小max_depth<5.重要的參數n_estimate和learning_rate,這兩個參數的y作用在於對模型過擬合化得調

梯度提升樹中的負梯度和殘差關系

提升 方向 變化 最新 com nbsp 擬合 需要 產生 我們希望找到一個 使得 最小，那麽 就得沿著使損失函數L減小的方向變化，即： 同時，最新的學習器是由當前學習器 與本次要產生的回歸樹 相加得到的： 因此，為了讓損失函數減小，需要令： 即用損失函數對f

梯度提升樹（GBDT）理解

GBDT是整合學習方法Boosting中的一種，所以其中每個弱分類器都有先後順序，同時每個弱分類器都有其的權重。 GBDT的思想 在GBDT的迭代過程中，假如前一輪迭代得到的強分類器是 Fm−1(x) F

GBDT梯度提升樹（一）

提升樹（例項） 已知訓練資料如上表所示，x的取值範圍為區間[0.5,10.5]，y的取值範圍為區間[5.0,10.0]，學習這個迴歸問題的提升樹模型，考慮只用樹樁作為基函式。 解   既然是一個提升樹,

《機器學習》筆記---2 模型的損失函式與正則化

損失函式 度量模型一次預測的好壞 L( Y，f(X) ) 常見型別： 期望風險（風險函式） 度量平均意義下的模型預測的好壞，即損失函式的期望。（關於 聯行分佈的期望，未知，無法直接計算） 經驗風險 模型關於訓練

Spark-MLlib的快速使用之五（梯度提升樹GBT 迴歸）

（1）描述 　梯度提升樹（GBT）是決策樹的集合。 GBT迭代地訓練決策樹以便使損失函式最小化。 spark.ml實現支援GBT用於二進位制分類和迴歸，可以使用連續和分類特徵。 （2）測試資料 1 153:5 154:63 155:197 181:20 182:254 183:230 1

Spark-MLlib的快速使用之四（梯度提升樹GBT 分類）

（1）描述 　梯度提升樹（GBT）是決策樹的集合。 GBT迭代地訓練決策樹以便使損失函式最小化。 spark.ml實現支援GBT用於二進位制分類和迴歸，可以使用連續和分類特徵。 （2）測試資料 1 153:5 154:63 155:197 181:20 182:254 183:230 1

深度學習基礎--loss與啟用函式--sigmiod與softmax；對數損失函式與交叉熵代價函式

sigmiod與softmax   sigmiod就是邏輯迴歸（解決二分類問題）；softmax是多分類問題的邏輯迴歸   雖然邏輯迴歸能夠用於分類，不過其本質還是線性迴歸。它僅線上性迴歸的基礎上，在特徵到結果的對映中加入了一層sigmoid函式（非線性）對映，即先把特徵線性求和，然後使

【CS229】代價函式與梯度下降

一些寫法約定： x x x: 輸入變數，特徵

GBDT(梯度提升樹)scikit-klearn中的引數說明及簡匯

1、GBDT（梯度提升樹）概述：  　GBDT是整合學習Boosting家族的成員，區別於Adaboosting。adaboosting是利用前一次迭代弱學習器的誤差率來更新訓練集的權重，在對更新權重後的訓練集繼續迭代訓練。GBDT也是迭代演算法，但是不同於Adaboosting，GBDT是進行一

吳恩達-機器學習筆記(1)-模型表示、損失函式、梯度下降

無監督學習：一個程式被認為能從經驗E中學習，解決任務T，達到效能度量值P，當且僅當，有了經驗E，經過P的評判，程式在處理T時效能有所提升。 A computer program is said to learn from experience E with respect to some t

梯度提升樹(GBDT)原理小結

　在整合學習之Adaboost演算法原理小結中，我們對Boosting家族的Adaboost演算法做了總結，本文就對Boosting家族中另一個重要的演算法梯度提升樹(Gradient Boosting Decison Tree, 以下簡稱GBDT)做一個總結。GBDT有很多簡稱，有GBT（Gradient

深度學習筆記——理論與推導之概念，成本函式與梯度下降演算法初識（一）

前情提要 一、神經網路介紹 概念：Learning ≈ Looking for a Function 框架（Framework）： What is Deep Learning? 深度學習其實就是一個定義方法、判斷方法優劣、挑選最佳的方法的過程：

機器學習sklearn19.0——整合學習——boosting與梯度提升演算法（GBDT）、Adaboost演算法

一、boosting演算法原理 二、梯度提升演算法 關於提升梯度演算法的詳細介紹，參照部落格：http://www.cnblogs.com/pinard/p/6140514.html 對該演算法的sklearn的類庫介紹和調參，參照網址：http://

logstic迴歸損失函式及梯度下降公式推導

Logistic迴歸cost函式的推導過程。演算法求解使用如下的cost函式形式： 梯度下降演算法 對於一個函式，我們要找它的最小值，有多種演算法，這裡我們選擇比較容易用程式碼實現和符合機器學習步驟的梯度下降演算法。 先來看看梯度下降演算法中，自變數的迭代

深度學習裡的損失函式與交叉熵

1.MSE損失函式 損失函式是機器學習與深度學習裡面的重要概念。從名字上就可以看出，損失函式(Loss Function)反應的是模型對資料的擬合程度。一般來說，損失函式越小，說明模型對資料的擬合也越好。同時我們還希望當損失函式比較大的時候，對應的梯度也會比較大，這樣梯度下降的時候更

機器學習之損失函式與風險函式

1.損失函式與風險函式        監督學習的任務就是學習一個模型作為決策函式，對於給定的輸入X，給出相應的輸出f(X)，這個輸出的預測值f(X)與真實值Y可能一致也可能不一致，用一個損失函式(lo