Stanford機器學習筆記-2.Logistic Regression
Content:
2 Logistic Regression.
2.1 Classification.
2.2 Hypothesis representation.
2.2.1 Interpreting hypothesis output.
2.3 Decision boundary.
2.3.1 Non-linear decision boundaries.
2.4 Cost function for logistic regression.
2.4.1 A convex logistic regression cost function.
2.5 Simplified cost function and gradient descent.
2.5.1 Probabilistic interpretation for cost function.
2.5.2 Gradient Descent for logistic regression.
2.6 Multiclass classification problem
key words: logistic regression, classification, decision boundary, convex function, One-vs-all
2.6 Multiclass classification problem
現實中也常遇到多分類問題(multiclass classification problem),如判斷手寫的數字是0~9中的哪一個就是一個有10類的問題。多分類學習的基本思路是“拆解法”,即將多分類任務拆為若干個二分類任務求解。具體來說,先對問題進行拆分,然後為拆分出的每個二分類任務訓練一個分類器(也就是h(x));在預測時,對這些分類器的預測結果進行整合。
下面介紹一個常用的拆分策略-“One-vs-all”.
One-vs-all每次將一個類的樣例作為正例(“1”),所有其他類作為反例(“0”)來訓練n個分類器。在預測時,有兩種情況看
- 情況1:若僅有一個分類器預測為正例,則對應的類別標記作為最終分類結果;
- 情況2:若有多個分類器預測為正例,則選擇分類器的預測置信度最大的類別標記為分類結果,也就是 。
例如對於圖2-10所示的多分類問題,我們先將三角形,正方形,叉分別標記為類別1,2,3,然後做如下劃分:
- 先將三角形看作正例“1”,正方形和叉看作反例“0”,訓練出hθ1(x)
- 再將正方形看作正例“1”,三角形和叉看作反例“0”,訓練出hθ2(x)
- 最後將叉看作正例“1”,三角形和正方形看作反例“0”,訓練出hθ3(x)
預測時每一個預測值都是一個形如[hθ1(x), hθ2(x), hθ3(x)]的向量。選出最大的h(x),它的上標就是對應的類別標記。例如若預測值為[0.13, 0.24, 0.79],對應的就是上文所說的情況1,即只有hθ3(x) > 0.5表現為正例,所以應該認為是屬於3標記類,即為叉。若預測值為[0.12, 0.83, 0.56], 對應的就是上文所說的情況2,hθ2(x) 和hθ3(x)都大於0.5,都預測為正例,但hθ2(x)> hθ3(x),所以應該預測是屬於2標記類,即為正方形。
圖2-10
相關推薦
Stanford機器學習筆記-2.Logistic Regression
Content: 2 Logistic Regression. 2.1 Classification. 2.2 Hypothesis representation. 2.2.1 Interpreting hypothesis output. 2.
吳恩達機器學習筆記2-監督學習
word ins problems 一個 should regress ssi pri read 英文; Supervised Learning In supervised learning, we are given a data set and already kn
深入理解Java虛擬機器學習筆記2-JVM中物件佈局
一、物件的記憶體佈局 在Hotspot中,物件在記憶體中儲存佈局可以分為三塊: 物件頭(Header) 、例項資料(Instance Data)、對齊填充(Padding) 二、物件頭 1、物件執行時資料: 雜湊嗎、GC分代年齡、鎖狀態標誌、執行緒持有的鎖、偏向執行緒I
吳恩達機器學習練習2——Logistic迴歸
Logistic迴歸 代價函式 Logistic迴歸是分類演算法,它的輸出值在0和1之間。 h(x)的作用是,對於給定的輸入變數,根據選擇的引數計算輸出變數等於1的可能性(estimated probablity)即h(x)=P(y=1|x;
機器學習筆記2:線性迴歸
機器學習筆記2:線性迴歸 Andrew Ng機器學習課程學習筆記2 線性迴歸 引數說明: θi:parameters,引數 x:input,輸入 y:output,輸出 h:hypothesis,假設 m:資料數量 迴歸方程: 一元線性的迴歸方程的一
Stanford機器學習筆記-7. Machine Learning System Design
Error analysis: Manually examine the examples (in cross validation set) that your algorithm made errors on. See if you spot any systematic trend in what ty
Stanford機器學習筆記-3.Bayesian statistics and Regularization
3. Bayesian statistics and Regularization Content 3. Bayesian statistics and Regularization. 3.1 Underfitting and overfitting. 3.2 Bayesian
Stanford機器學習筆記-8. 支援向量機(SVMs)概述
8. Support Vector Machines(SVMs) Content 8. Support Vector Machines(SVMs) 8.1 Optimization Objection 8.2 Large margin intuition 8.
Andrew Ng機器學習筆記2——梯度下降法and最小二乘擬合
今天正式開始學習機器學習的演算法,老師首先舉了一個例項:已知某地區的房屋面積與價格的一個數據集,那麼如何預測給定房屋面積的價格呢?我們大部分人可以想到的就是將畫出房屋面積與價格的散點圖,然後擬合出價格關於面積的曲線,那麼對於一個已知的房屋面積,就可以在擬合的曲線上得到預測的
Stanford機器學習筆記-9. 聚類(Clustering)
9. Clustering Content 9. Clustering 9.1 Supervised Learning and Unsupervised Learning 9.2 K-means algorithm 9.3 Optimization objectiv
機器學習筆記2—— 欠擬合與過擬合
區域性加權迴歸 現在思考關於根據實數 x 預測 y 的問題。 上圖中最左側的圖顯示了函式 y=θ0+θ1x 擬合數據集的結果。我們可以看到資料並沒有真的停靠在直線上,所以這種擬合效果並不是非常好。 相反地,如果我們新增額外的特徵 x2,然後用函式擬
機器學習筆記2
樸素貝葉斯法(Naive Bayes)是另一個簡單直觀的分類演算法。顧名思義,它的核心是貝葉斯公式。 我們先看看最基本的貝葉斯公式: P(y|x)=P(x|y)(y)P(x),(1) 對應到分類問題,x 是特徵向量,y 是分類結果。P(y|x) 的直觀含義就是在給定特徵x的情況下,例項的類別是y 的
吳恩達機器學習筆記2-代價函數(cost function)
cost 但是 時也 建模 學習筆記 alt 得到 回歸 技術 我們選擇的參數決定了我們得到的直線相對於我們的訓練集的準確程度,模型所預測的值與訓練集中實際值之間的差距(下圖中藍線所指)就是建模誤差(modeling error)。 我們的目標便是選擇出可以使得建模
吳恩達機器學習筆記2-代價函式(cost function)
我們選擇的引數決定了我們得到的直線相對於我們的訓練集的準確程度,模型所預測的值與訓練集中實際值之間的差距(下圖中藍線所指)就是建模誤差(modeling error)。 我們的目標便是選擇出可以使得建模誤差的平方和能夠最小的模型引數。 即使得代價函式 最小。 代價函式也被稱作平方
吳恩達機器學習筆記 —— 7 Logistic迴歸
本章主要講解了邏輯迴歸相關的問題,比如什麼是分類?邏輯迴歸如何定義損失函式?邏輯迴歸如何求最優解?如何理解決策邊界?如何解決多分類的問題? 有的時候我們遇到的問題並不是線性的問題,而是分類的問題。比如判斷郵件是否是垃圾郵件,信用卡交易是否正常,腫瘤是良性還是惡性的。他們有一個共同點就是Y只有兩個值{0,
吳恩達機器學習筆記 —— 2 單變數線性迴歸
第一章講述了基本的機器學習的概念以及分類,這裡從單變數的線性迴歸入手,吳恩達講解了機器學習中的幾個重要因素,如模型、損失函式、優化方法等 首先以房價預測入手: 房子的面積 每平米的房價 2104 460 1416 232 1534 315 852 178 其中: m 為
【機器學習筆記2.2】用邏輯迴歸預測馬疝病的死亡率
資料預處理:如何處理資料中的缺失值 假設有 100 個樣本和 20 個特徵 ,這些資料都是機器收集回來的。若機器上的某個感測器損壞導致一個特徵無效時該怎麼辦?此時是否要扔掉整個資料?這種情況下,另外19 個特徵怎麼辦?它們是否還可用?答案是肯定的。因為有時候資料相
機器學習筆記(2)----“沒有免費的午餐”定理
“沒有免費的午餐”定理(No Free Lunch Theorem,簡稱NFL) 先來看一個例子。假設學習演算法a基於某種歸納偏好產生了對應於A的模型,學習演算法b基於另一種歸納偏好產生了對應於曲線B的模型。 基於奧卡姆剃刀原理,我們會期待演算法a比演算法b更好。確實,如圖
Stanford 機器學習筆記 Week8 Dimensionality Reduction
Motivation Motivation I: Data Compression 降維可以做資料壓縮,減少冗餘資訊從而減小儲存空間。 2D向1D降維: cm 和 inches都表示長度,屬於冗餘資訊,可以用z向量做新的維度,用1維就可以表示長度
COURSERA機器學習筆記2
第五週: Neural Networks: Learning 關於神經網路的記法: 神經網路的代價函式: 直接計算神經網路的各項導數很複雜,為了計算導數,採用反向傳播(backpropagation)的演算法: 前項傳播原理: