2. 程式人生 > >高斯混合模型的重疊度計算 （Overlap Rate, OLR）

高斯混合模型的重疊度計算 （Overlap Rate, OLR）

阿新 • • 發佈：2019-02-10

簡介

關於高斯混合模型（GMM）的相關概念可以參考另一篇博文：高斯混合模型及其EM演算法的理解

使用GMM聚類或分析兩個高斯混合分佈的資料時，我們有時會希望兩個高斯分佈離得越遠越好，這樣表示資料才有可分性。但很多情況下兩個高斯分佈會有重疊。一維和二維的重疊情況如下所示（圖片取自作者論文）。

overlap example

我們可以計算一些指標來間接反映兩個高斯分佈的重疊情況。比如可以計算Mahalanobis距離，Bhattacharyya距離或Kullback-Leibler (KL)距離，可以衡量兩個高斯分佈的相似性。但是Mahalanobis距離預設兩個分佈具有相同的協方差，Bhattacharyya距離和KL距離都考慮了協方差，但卻沒有考慮高斯混合分佈的混合係數（mixing coefficient）。而且KL距離對高維的正態分佈沒有解析解，計算複雜。

這篇論文提出的計算OLR的方法考慮了高斯混合分佈中的所有引數，包括均值，協方差和混合係數。

OLR計算

假設有n個d維的樣本X={X1,...,Xn}. 其中Xi是一個d維向量。一個混合高斯模型的pdf可以表示為：

p(X)=∑i=1kαiGi(X,μi,Σi)(1)
其中αi是混合係數，滿足αi>0且∑ki=1αi=1.

Gi(X)是一個d維高斯分佈，可以表示為下面的形式：

Gi(X)=1(2π)d/2|Σi|1/2exp(12(X−μi)TΣ−1i(X−μi))(2).

以二維高斯分佈為例。當兩個高斯分佈有重疊時，會形成鞍狀。如上圖的d和e，二維高斯分佈混合時會出現兩個峰和一個鞍部；當兩個分佈幾乎完全混合時，鞍部可能消失，但峰還在，此時明顯的峰只有一個，如上圖中的f。

論文中的兩個高斯分佈的OLR定義如下：

OLR(G1,G2)={1p(Xsaddle)p(Xsubmax)if p(X) has one peakif p(X) has two peaks(3)

其中Xsaddle是pdf中的鞍點（saddle point），Xsubmax是pdf中的較低的峰（lower peak point）。OLR的示意圖如下圖所示。OLR計算的是鞍點的pdf與較低峰的pdf的比值。這麼做是因為鞍點的pdf與混合係數αi有關。注意到OLR並不是落在重疊區域內資料的比例。定義中的p(Xsubmax)容易求，只需將兩個均值帶入(1)試，取較小的值即可。但是p(Xsad

dle)不容直接求得。

OLR

注意到兩個峰點和鞍點在整個曲面上都應該是極值點。因此Xsaddle和Xsubmax應該滿足下式：

⎧⎩⎨⎪⎪∂p∂x1=Ax1α1G1+Bx1α2G2∂p∂x2=Ax2α1

相關推薦

高斯混合模型的重疊度計算 （Overlap Rate, OLR）

簡介 關於高斯混合模型（GMM）的相關概念可以參考另一篇博文：高斯混合模型及其EM演算法的理解 使用GMM聚類或分析兩個高斯混合分佈的資料時，我們有時會希望兩個高斯分佈離得越遠越好，這樣表示資料才有可分性。但很多情況下兩個高斯分佈會有重疊。一維和二維的重

EM演算法在高斯混合模型中的應用（詳細解釋與求解）

1、高斯混合模型GMM 是指具有以下概率分佈的模型： P ( y

網格缺陷檢測（高斯混合模型GMM）

*此示例程式向您展示如何使用GMM分類器進行新穎性檢測以執行Web檢查任務。 要進行新奇檢測， *計算屬於單個訓練類的所有畫素，然後進行計算從分類ROI中減去以提取錯誤畫素。 對於網路檢查任務，GMM因此可用於檢測紋理與訓練好的物體的紋理不對應。       &nb

高斯混合模型（Gaussian Mixture Model，GMM）

先從簡單的離散型隨機變數看起 離散型隨機變數P{X=ak}=pk,k=1,2,3,...,n 其中：∑i=1npi=1 那麼它的期望值是：E(X)=∑kakpk 以上都是中學數學知識，那麼到了高等數學的概率論與數理統計這門課才開始討論連續隨機變數的情況。

聚類之高斯混合模型（Gaussian Mixture Model）

k-means應該是原來級別的聚類方法了，這整理下一個使用後驗概率準確評測其精度的方法—高斯混合模型。 我們談到了用 k-means 進行聚類的方法，這次我們來說一下另一個很流行的演算法：Gaussian Mixture Model (GMM)。事實上，GMM

聚類之高斯混合模型（Gaussian Mixture Model）【轉】

k-means應該是原來級別的聚類方法了，這整理下一個使用後驗概率準確評測其精度的方法—高斯混合模型。 我們談到了用 k-means 進行聚類的方法，這次我們來說一下另一個很流行的演算法：Gaussian Mixture Model (GMM)。事實上，GMM 和 k-means 很像，不過 GMM 是學習

高斯混合模型（GMM）介紹以及學習筆記

1.高斯混合模型概述 高斯密度函式估計是一種引數化模型。高斯混合模型（Gaussian Mixture Model, GMM）是單一高斯概率密度函式的延伸，GMM能夠平滑地近似任意形狀的密度分佈。高斯混合模型種類有單高斯模型（Single Gaussian Model, S

機器學習讀書筆記（高斯混合模型GMM與EM）（改）

高斯混合模型（Gaussian mixture model，GMM）是單一高斯概率密度函式的延伸。GMM能夠平滑地近似任意形狀的密度分佈。 欲瞭解高斯混合模型，那就先從基礎的單一高斯概率密度函式講起。（數學公式字型太難看了！！！！！！！） 注意：這一一篇致力於詳

【機器學習】機器學習（十二、十三）：K-means演算法、高斯混合模型

簡介：         本節介紹STANFORD機器學習公開課中的第12、13集視訊中的演算法：K-means演算法、高斯混合模型（GMM）。（9、10、11集不進行介紹，略過了哈） 一、K-means演算法         屬於無監督學習的聚類演算法，給定一組未標定的資料

EM演算法之高斯混合模型（一）

單個高斯模型 如果我們有一堆資料，其分佈屬於一個高斯模型，那麼有 p(X)=N(x|μ,Σ)=1(2π)m|Σ|‾‾‾‾‾‾‾‾√exp[−12(x−μ)TΣ−1(x−μ)](1.1) p(X) = N(x|\mu,\Sigma) = \

高斯混合模型（GMM）及其EM演算法的理解

一個例子 高斯混合模型（Gaussian Mixed Model）指的是多個高斯分佈函式的線性組合，理論上GMM可以擬合出任意型別的分佈，通常用於解決同一集合下的資料包含多個不同的分佈的情況（或者是同一類分佈但引數不一樣，或者是不同型別的分佈，比如正態分佈和伯

高斯混合模型（GMM model）以及梯度下降法（gradient descent）更新引數

關於GMM模型的資料和 EM 引數估算的資料，網上已經有很多了，今天想談的是GMM的協方差矩陣的分析、GMM的引數更新方法 1、GMM協方差矩陣的物理含義 涉及到每個元素，是這樣求算： 用中文來描述就是： 注意後面的那個除以（樣本數-1），就是大括號外面的E求期望　（這叫

高斯混合模型（GMM）及其求解（期望最大化（EM）演算法）

1、高斯混合模型的公式表達 高斯混合模型是指隨機變數x具有如下形式的分佈（概率密度函式）： (公式1) 其中，引數θθ代表所有混合成分的引數（均值向量μ與協方差矩陣Σ）的集合： (公式2) 每個混合成分的概率密度函式為：

[R][原始碼]EM演算法實現基於高斯混合模型（GMM）的聚類

要求：用EM演算法實現基於GMM的聚類演算法。一、實驗資料參考[1] 3.3.2章節。由兩個二維高斯分佈混合生成1000個數據，混合係數分別是0.4、0.6，均值和方差如下：mu1=[-2,-2]sigma1=[1.2, 0.5, 0.5, 1]mean2=[2,2]sigm

高斯混合模型（GMM）的EM演算法實現

在 聚類演算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我們給出了GMM演算法的基本模型與似然函式，在EM演算法原理中對EM演算法的實現與收斂性證明進行了詳細說明。本文主要針對如何用EM演算法在混合高

估計高斯混合模型參數的三種方式

als .so ons die from ssi object sqrt int 對於如下的兩類別的高斯混合模型 \[ \pi\cdot N(\mu_1,\sigma_1^2)+(1-\pi)\cdot N(\mu_2,\sigma_2^2) \] 參數為\(\theta

CS229 Machine Learning學習筆記:Note 7(K-means聚類、高斯混合模型、EM算法)

learn 不同的 inf ear 公式 course splay alt spa K-means聚類 ng在coursera的機器學習課上已經講過K-means聚類，這裏不再贅述 高斯混合模型 問題描述 聚類問題：給定訓練集\(\{x^{(1)},\cdots,x^{(m

【機器學習】EM演算法在高斯混合模型學習中的應用

前言 EM演算法，此部落格介紹了EMEM演算法相關理論知識，看本篇部落格前先熟悉EMEM演算法。 本篇部落格打算先從單個高斯分佈說起，然後推廣到多個高斯混合起來，最後給出高斯混合模型引數求解過程。 單個高斯分佈 假如我們有一些資料，這些資料來自同一個

EM演算法與高斯混合模型

      由k個高斯模型加權組成，α是各高斯分佈的權重，Θ是引數。對GMM模型的引數估計，就要用EM演算法。更一般的講，EM演算法適用於帶有隱變數的概率模型的估計，即不同的高斯分佈所對應的類別變數。   為何不能使用極大似然估計，如果直接使用極大似然估計

Python中呼叫OpenCV介面中的高斯混合模型，實現對運動目標的檢測，並保存錄制視訊

Python中呼叫OpenCV介面中的高斯混合模型(GMM)，實現對運動目標的檢測   import numpy as np import cv2 # TODO: 本程式碼使用OpenCV介面中的高斯混合模型，實現對運動目標的檢測 cap = cv2.VideoCapture(