廣義線性模型(Generalized Linear Models)
看了一下斯坦福大學公開課:機器學習教程(吳恩達教授),記錄了一些筆記,寫出來以便以後有用到。筆記如有誤,還望告知。
本系列其它筆記:
線性迴歸(Linear Regression)
分類和邏輯迴歸(Classification and logistic regression)
廣義線性模型(Generalized Linear Models)
廣義線性模型(Generalized Linear Models)
我們目前學習的兩種不同演算法對p(y|x;
θ)進行建模:
y∈RGaussiandistribution→least squares of linear regressiony∈{0,1}Bernoullidistribution→logistic regression
1 指數分佈族(The exponential family)
指數分佈族可寫成如下形式:
p(y;η)=b(y)exp(ηTT(y)−a(η))η→分布的自然參數(naturalparameter)T(y)→充分統計量(sufficientstatistic)通常情況下T(y)=y
對於伯努利分佈
Ber(ϕ)={p(y=1 ∣ ϕ)=ϕp(y=0 ∣ ϕ)=1−ϕ
p(y ∣ ϕ)=ϕ(y)(1−ϕ)(1−y)=exp(log(ϕ(y)(1−ϕ)(1−y)))=exp(log(ϕ(y))+log((1−ϕ)(1−y)))=exp(ylog(ϕ)+(1−y)log(1−ϕ))=exp(ylog(1−ϕϕ)+log(1−ϕ))
令 T(y)=y,b(y)=1,η=log1−ϕϕ,則 ϕ=1+e−η1,a(η)=−log(1−ϕ)=log(1+eη)
對於高斯分佈
看了一下斯坦福大學公開課:機器學習教程(吳恩達教授),記錄了一些筆記,寫出來以便以後有用到。筆記如有誤,還望告知。 本系列其它筆記: 線性迴歸(Linear Regression) 分類和邏輯迴歸(Classification and logistic regression) 廣義線性模
轉載地址:http://lib.csdn.net/article/machinelearning/39601
1. 指數分佈族
首先,我們先來定義指數分佈族(exponential family),如果一類分佈可以寫成如下的形式,那麼它就是屬於指數分佈族的:
一.指數分佈族
在前面的筆記四里面,線性迴歸的模型中,我們有,而在logistic迴歸的模型裡面,有。事實上,這兩個分佈都是指數分佈族中的兩個特殊的模型。所以,接下來會仔細討論一下指數分佈族的一些特點,會證明上面兩個分佈為什麼是指數分佈族的特性情況以及怎麼用到
牛頓方法
本次課程大綱:
1、 牛頓方法:對Logistic模型進行擬合
2、 指數分佈族
3、 廣義線性模型(GLM):聯絡Logistic迴歸和最小二乘模型
複習:
Logistic迴歸:分類演算法
假設給定x以為引數的y=1和y=0的概率:
在R中通常使用glm函式構造廣義線性模型,其中分佈引數包括了binomaial(兩項分佈)、gaussian(正態分佈)、gamma(伽馬分佈)、poisson(泊松分佈)等。和lm函式類似,glm的建模結果可以通過下述的泛型函式進行二次處理,如summary()、coef()、confint()、res 期望 and find 不同的 列表 mali 一周 模型 course Computing probability queries in a Bayesian network
計算貝葉斯網絡中的概率查詢
1.基礎因子操作
作業中因子的結構
phi = map tel ica join 正常 最大化 expected 聯合 else Decision Making
作決策
這一周的內容在老版本的CS228課程中,是作為第六周的一個小節講的(老版本的CS229只有9周的課程),而在概率圖模型的教材裏邊對應的是第22章
Markov Networks for OCR
光學字元識別的馬爾科夫網路
說到光學字元識別(OCR),此前筆者首先想到的會是卷積神經網路,而單詞識別則會考慮使用遞迴神經網路。而本週的作業則基於馬爾科夫網路構建了一個較為基礎OCR系統,目的也主要是讓我們對馬爾科夫網路有個感
在本文中,我們介紹一個動態主題模型,該模型捕獲了順序組織的文件語料庫中主題的演變。 我們通過分析由Ed Edi-son於1880年創立的Jour-nal Science的100多年的OCR文章來證明其適用性。在這種模式下,文章按年份分組,每年
1、簡單線性迴歸模型舉例:
汽車賣家做電視廣告數量與賣出的汽車數量:
如何訓練適合簡單線性迴歸模型的最佳迴歸線?
使sum of squares最小
計算
分子 = (1-2)(14-20)+(3-2)(24-20)+(2-2)(18-20)+(1-2)(17-2
關於引數估計
在很多機器學習或資料探勘的問題中,我們面對的只有資料,但資料中潛在的概率密度函式我們是不知道的,我們需要用資料將概率密度分佈估計出來。想要確定資料對應的概率密度分佈,我們需要確定兩個東西:①概率密度函式的形式;②概率密度函式的引數。
在這篇博文中我們將會實現正則化的線性迴歸以及利用他去學習模型,不同的模型會具有不同的偏差-方差性質,我們將研究正則化以及偏差和方差之間的相互關係和影響。
這一部分的資料是關於通過一個水庫的水位來預測水庫的流水量。為了進行偏差和方差的檢驗,這裡用12組資料進行迴 line learning nbsp ear 回歸 logs http zdb del 分類和邏輯回歸(Classification and logistic regression)
http://www.cnblogs.com/czdbest/p/5768467.html
監督學習問題:
1、線性迴歸模型:
適用於自變數X和因變數Y為線性關係
2、廣義線性模型:
對於輸入空間一個區域改變會影響所有其他區域的問題,解決為:把輸入空間劃分成若 學習筆記 Education 5.0 1.3 style only 可能性 div erro
#Logistic 回歸
install.packages("AER")
data(Affairs,package="AER")
summary(Affairs)
a
首先,我們先來討論一下欠擬合(underfitting)和過擬合(overfitting)問題。比如我們同樣採用線性迴歸來對一組房屋價格和房屋大小的資料進行擬合,第一種情況下我們只選取一個數據特徵(比如房屋大小 x)採用直線進行擬合。第二種情況下選取兩個資料特徵(比如房屋大
機器學習數學原理(2)——廣義線性模型
這篇博文主要介紹的是在機器學習中的迴歸問題以及分類問題中的一個非常具有概括性的模型:廣義線性模型(Generalized Linear Models,簡稱GLMs),這類模型包括了迴歸問題中的正態分佈,也包含了分類問題中的伯努利分佈。隨著我們的
本次課所講主要內容:
1、
牛頓方法:對Logistic模型進行擬合
2、
指數分佈族
3、
廣義線性模型(GLM):聯絡Logistic迴歸和最小二乘模型
一、牛頓方法
牛頓方法與梯度下降法的功能一樣,都是對解空間進行搜尋的方法。
假設有函
注:arg 是變元(即自變數argument)的英文縮寫。
arg min 就是使後面這個式子達到最小值時的變數的取值
arg max 就是使後面這個式子達到最大值時的變數的取值
形式:**f(**x)=w.x+b
引數解釋:
x:列向量,n維表示樣
Lasso迴歸複雜度調整的程度由引數lambda來控制,lambda越大模型複雜度的懲罰力度越大,從而獲得一個較少變數的模型。Lasso迴歸和bridge迴歸都是Elastic Net
p(y ∣ μ;σ2)=2π
σ1
相關推薦
廣義線性模型(Generalized Linear Models)
廣義線性模型(Generalized Linear Models, GLM)
機器學習筆記五:廣義線性模型(GLM)
【機器學習-斯坦福】學習筆記4 ——牛頓方法;指數分佈族; 廣義線性模型(GLM)
廣義線性模型(GLM)
Coursera概率圖模型(Probabilistic Graphical Models)第一周編程作業分析
Coursera概率圖模型(Probabilistic Graphical Models)第四周編程作業分析
Coursera概率圖模型(Probabilistic Graphical Models)第三週程式設計作業分析
動態主題模型(Dynamic Topic Models)
簡單線性迴歸(Simple Linear Regression)下
貝葉斯線性迴歸(Bayesian Linear Regression)
機器學習5 正則化的線性迴歸(Regularized Linear Regression)和偏差對方差(Bias v.s. Variance)
分類和邏輯回歸(Classification and logistic regression),廣義線性模型(Generalized Linear Models) ,生成學習算法(Generative Learning algorithms)
廣義線性模型--Generalized Linear Models
R語言學習筆記(十一):廣義線性模型
機器學習cs229——(三)區域性加權迴歸、邏輯迴歸、感知器、牛頓方法、廣義線性模型
機器學習數學原理(2)——廣義線性模型
斯坦福大學公開課機器學習課程(Andrew Ng)四牛頓方法與廣義線性模型
線性模型(linear model)
R語言解決Lasso問題----glmnet包(廣義線性模型)