高斯判別分析模型The Gaussian Discriminant Analysis model
高斯判別模型,內容其實非常簡單
對於大多數模型,無非就是做這麼幾件事情
1.假設模型
2.設定引數,表示概率
3.用最大似然,通過樣本算出引數
4.用得到的引數,再去測試資料裡計算概率
高斯模型判別是是這樣,因為是判別嗎,所以我們就把判別結果用0,1兩種結果來表示,這樣自然就想到要用伯努利。
高斯模型第二個假設是,我們認為對應兩種判別結果分佈於兩種標準正態高斯模型。
舉個例子:
比如一群男人追一個女神,都給女神寫信,女生接受信封為結果1,女生不接受信封結果0
而分成部分男人,他們的身高,顏值,智商,財富都是呈高斯分佈的,只是平均值不一樣,可能被接受的那部分群體,身高高,顏值高,智商高,財富高,但是不一定,這個要根據女神口味來決定。
表示出概率:
算似然:
求引數
這個是樣本圖例,是一個二維的,而我們剛才舉的追女神的例子,那個是四維的,顯然四維的是沒法想象的圖形。
接下來算分別屬於兩種高斯下是概率是多少就好了,哪個概率大,那就是哪個模型,就是哪種結果。
相關推薦
高斯判別分析模型The Gaussian Discriminant Analysis model
高斯判別模型,內容其實非常簡單 對於大多數模型,無非就是做這麼幾件事情 1.假設模型 2.設定引數,表示概率 3.用最大似然,通過樣本算出引數 4.用得到的引數,再去測試資料裡計算概率 高斯模型判別是是這樣,因為是判別嗎,所以我們就把判別結果用0,1兩種結果來表
生成學習演算法之高斯判別分析模型
第四部分 生成學習演算法 到目前為止,我們主要討論了建模——給定下的的條件分佈——的學習演算法。例如,邏輯迴歸把建模成,這裡是sigmoid函式。在這些講義中,我們將討論一種不同形式的學習演算法。 考慮一個分類問題,在這個分類問題中,我們想基於一個動物的一些特徵,來學習
高斯判別分析 Gaussian Discriminant Analysis
方差 targe clas blog log 通過 post 高斯 gist 之前我們分析Logistic Regression,通過求p(y|x)來判定數據屬於哪一個輸出分類,這種直接判定的方法稱為Discriminative Learning Algorithms,但還
統計概率模型-高斯判別分析
統計概率模型 1、高斯判別分析 2、樸素貝葉斯 3、隱馬爾可夫模型 4、最大熵馬爾科夫模型 5,條件隨機場 6,馬爾科夫決策過程 一、高斯判別分析 一、生成模型 機器學習模型有一種分類方式:判別模型和生成
生成模型中的高斯判別分析和樸素貝葉斯
設樣本為X(大寫X表示向量),其類別為y。下面的圖片若非特殊宣告,均來自cs229 Lecture notes 2。 用於分類的機器學習演算法可以分為兩種:判別模型(Discriminative learning algorithms)和生成模型(Generative Le
生成學習演算法_高斯判別分析_樸素貝葉斯_斯坦福CS229_學習筆記
Part IV Generative Learning Algorithms 回顧上一部分的內容,我們解決問題的出發點在於直接對p(y|x;)建模:如線性迴歸中y建模為高斯分佈,邏輯迴歸y建模為伯努利分佈。這樣建模的好處在於可以直接得到x到y的對映關係,理解起來也比較直接。這樣建模
分類-3-生成學習-2-高斯判別分析、協方差
多元高斯分佈 多變數高斯分佈描述的是 n維隨機變數的分佈情況,這裡的μ變成了向量, σ也變成了矩陣Σ。寫作N(μ,Σ)。其中Σ(協方差矩陣)是一個半正定的矩陣,μ是高斯分佈的均值,下面給出它的概率密度函式: begin-補充-協方差和協方差矩
斯坦福機器學習: 網易公開課系列筆記(五)——高斯判別分析、樸素貝葉斯
高斯判別分析(Gaussian discriminant analysis) 判別模型和生成模型 前面我們介紹了Logistic迴歸,通過學習hΘ(x)來對資料的分類進行預測:給定一個特徵向量x→輸出分類y∈{0,1}。這類通過直接
斯坦福機器學習筆記1:GDA高斯判別分析演算法的原理及matlab程式實現
ps:我本身沒有系統的學過matlab程式設計,所以有的方法,比如求均值用mean()函式之類的方法都是用很笨的方法實現的,所以有很多需要改進的地方,另外是自學實現的程式,可能有的地方我理解錯誤,如果有錯誤請提出來,大家一起學習,本人qq553566286 首先,本文用到的
高斯判別分析演算法及其python實現
高斯判別分析演算法(Gaussian discriminat analysis) 高斯判別演算法是一個典型的生成學習演算法(關於生成學習演算法可以參考我的另外一篇部落格)。在這個演算法中,我們假設p(x|y)服從多元正態分佈。 注:在判別學習演算法中,
線性判別分析LDA(Linear Discriminant Analysis)
1、簡介 大家熟知的PCA演算法是一種無監督的降維演算法,其在工作過程中沒有將類別標籤考慮進去。當我們想在對原始資料降維後的一些最佳特徵(與類標籤關係最密切的,即與y相關),這個時候,基於Fisher準則的線性判別分析LDA就能派上用場了。注意,LDA是一種有
生成模型--高斯判別+樸素貝葉斯
分類演算法: 判別學習演算法(logistic二元分類器,softmax分類器..)特點:直接去求條件概率分佈 p(y|x; θ), 也表示為 hθ(x),重點是去擬合引數θ 生成學習算(中心思想是直接去求p(y|x; θ)很難,然後轉而去求聯合分佈 p(x,y), 然後利用貝葉斯
二維高斯分佈(Two-dimensional Gaussian distribution)的引數分析
最近在看高斯混合模型(Gaussian Mixture Model, GMM),涉及到高斯分佈的引數。為此特意回顧了概率論的二維高斯分佈的相關概念,並分析了引數對二維高斯分佈曲面的影響。 1、多維高斯分佈的概率密度函式 多維變數X
深入淺出機器學習之生成模型,高斯判別
這一講是一塊單獨的內容,和上一部分的迴歸不太一樣,這塊側重用概率的方式來進行分類。 首先說一下判別學習和生成學習之間的區別,判別學習就是直接學習P(y| x),通過一系列
機器學習之LDA線性判別分析模型
機器學習之LDA線性判別分析模型 # -*- coding: utf-8 -*- """ Created on Wed Nov 21 21:03:14 2018 @author: muli """ import matplotlib.pyplot as plt im
LDA 線性判別分析模型
線性判別分析(Linear Discriminant Analysis,LDA)是一種可作為特徵抽取的技術,可以提高資料分析過程中的計算效率,同時對於不適用於正則化的模型,它可以降低模型災難帶來的過擬合。 1、LDA 的概念與 PCA 區別與聯絡 1.PCA 試圖在資
C++生成隨機數:高斯/正態分佈(gaussian/normal distribution)
常用的成熟的生成高斯分佈隨機數序列的方法由Marsaglia和Bray在1964年提出,C++版本如下: #include <stdlib.h> #include <math.h> double gaussrand() { static double V1, V2, S
高斯羽煙模型計算氣體擴散濃度
開發十年,就只剩下這套架構體系了! >>>
貝葉斯層次型模型引數估計 Bayesian hierarchical model parameter estimation with Stan
再來總結下貝葉斯引數估計,分為以下幾部分: 1. 先說說貝葉斯引數估計 2. 再說說層次型模型,指的就是超引數(Hyper parameter)的選擇 3. 用R+stan的Hamiltonian MC把這些引數(資料分佈的引數和超引數)都採出來 這裡我
高斯函式(Gaussian function)的詳細分析
摘要 論文中遇到很重要的一個元素就是高斯核函式,但是必須要分析出高斯函式的各種潛在屬性,本文首先參考相關材料給出高斯核函式的基礎,然後使用matlab自動儲存不同引數下的高斯核函式的變化gif動圖,同時分享出原始碼,這樣也便於後續的論文寫作。 高斯函式的基礎