1. 程式人生 > >機器學習-聯合概率分佈筆記

機器學習-聯合概率分佈筆記

1.什麼是聯合概率分佈?

  聯合概率分佈簡稱聯合分佈,是兩個及以上隨機變數組成的隨機向量的概率分佈。根據隨機變數的不同,聯合概率分佈的表示形式也不同。對於離散型隨機變數,聯合概率分佈可以以列表的形式表示,也可以以函式的形式表示;對於連續型隨機變數,聯合概率分佈通過一非負函式的積分表示。

2. 舉例說明聯合概率分佈

打靶時命中的座標(x,y)的概率分佈就是聯合概率分佈(涉及兩個隨機變數),其他同樣類比

3.離散型聯合概率分佈

以下摘自百度百科:

對於二維離散隨機向量,設X和Y都是 分別是X和Y的一切可能的幾何,則X和Y的聯合概率分佈可以表示為如下圖的列聯表,也可以表示為如下的函式形式
其中 變數X和Y的聯合分佈完全決定X的概率分佈和Y的概率分佈(稱作聯合分佈的邊緣分佈): 對於多維(維數大於等於3)離散型隨機變數 的聯合概率分佈以此類推。


題目詳解:

假設X和Y都是離散型分佈

  先看X的概率分佈:
  X      0        1
  p     0.4     0.6

  再看Y的概率分佈:
  Y     0          1      2
  p    0.25    0.5    0.25

  又因為X與Y相互獨立,所以(X,Y)的聯合概率分佈為:
  X\Y      0         1          2
        0       0.1      0.2       0.1
        1      0.15     0.3      0.15

    P(X<Y)=P(X=0,Y=1)+P(X=0,Y=2)+P(X=1,Y=2)=0.2+0.1+0.15=0.45

4.連續型聯合概率分佈


對於二維連續隨機向量,設X和Y為連續型隨機變數,其聯合概率分佈,或連續型隨機變數 的概率分佈 通過一非負函式 的積分表示,稱函式 聯合概率密度函式[3] 兩者的關係如下: 不但完全決定X和Y的聯合概率分佈,而且完全決定X的概率分佈和Y的概率分佈,以 分別表示X和Y的概率密度,則 對於多維(維數大於等於3)連續型隨機變數 的聯合概率分佈以此類推。

相關推薦

機器學習-聯合概率分佈筆記

1.什麼是聯合概率分佈?   聯合概率分佈簡稱聯合分佈,是兩個及以上隨機變數組成的隨機向量的概率分佈。根據隨機變數的不同,聯合概率分佈的表示形式也不同。對於離散型隨機變數,聯合概率分佈可以以列表的形式表示,也可以以函式的形式表示;對於連續型隨機變數,聯合概率分佈通過一非負函

機器學習概率分佈1

機器學習-概率分佈-伯努利分佈 概率論在機器學習領域發揮了重要的作用。目前機器學習的很多方法本質上是統計學習,而統計學習的本質則是概率論。在概率論中概率分佈是一個非常重要的工具。概率分佈 p(x) 描述的是隨機變數 x 的概率密度分佈。 首先介紹最簡單的一種

聯合概率分佈學習[轉載]

轉自:https://blog.csdn.net/tiankong_/article/details/78332666 https://blog.csdn.net/tick_tock97/article/details/79885868 1.聯合概率定義  聯合概率分佈是兩個及以上隨機變數組成

機器學習實戰》知識點筆記目錄

body cnblogs 機器學習 實戰 href post 目錄 開始 classify   從今天起,開始學習《機器學習實戰》,並記錄學習到的知識點。             -- 2017-12-31 1,第2章KNN算法筆記_函數classify0 《機器學

coursera-斯坦福-機器學習-吳恩達-筆記week2

線性 歸一化 有變 擬合 分享 選擇 多元線性回歸 縮放 轉置 1 多元線性回歸 1.1 假設函數 多元線性回歸是指有多個特征特征變量的情況。此時我們修改假設函數hθ(x)=θ0+θ1?x為hθ(x)=θ0+θ1x1+θ2x2+?+θnxn。設x0=1,x為特征向量,θ為參

coursera-斯坦福-機器學習-吳恩達-筆記week3

發生 足夠 bfgs clas 方法 技術 影響 限制 分享 1 邏輯回歸 1. classification 分類 eg:垃圾郵件分類、交易是否是欺詐、腫瘤類別。分類的結果是離散值。 2. sigmoid函數   使用線性方法來判斷分類問題,會出現上圖中的問題,需要

先驗概率、後驗概率、似然函數與機器學習概率模型(如邏輯回歸)的關系理解

集中 並且 結果 概率論 但我 evidence logs 硬幣 之前 看了好多書籍和博客,講先驗後驗、貝葉斯公式、兩大學派、概率模型、或是邏輯回歸,講的一個比一個清楚 ,但是聯系起來卻理解不能 基本概念如下 先驗概率:一個事件發生的概率 \[P(y)\] 後驗概

結構化機器學習專案_課程筆記_第一、二週

第一週 機器學習策略_1 這一門課主要介紹了在具體專案實踐中會遇到的一些問題以及採取的策略。所擷取的圖片依然來源於吳恩達老師的相關視訊資源。 1. 正交化(Orthogonalization) Andrew建議機器學習的調參過程應保持正交化。上圖所示的機器學習的4個流程,每一步的除

機器學習:Multinoulli分佈與多項式分佈

學習深度學習時遇見multinoulli分佈,在此總結一下機器學習中常用的multinoulli分佈與多項式分佈之間的區別於關係,以便更好的理解其在機器學習和深度學習中的使用。 首先介紹一下其他相關知識。 Bernoulli分佈 (兩點分佈) Bernoulli分佈是單個二值隨機變數

先驗概率、後驗概率、似然函式與機器學習概率模型(如邏輯迴歸)的關係理解

看了好多書籍和部落格,講先驗後驗、貝葉斯公式、兩大學派、概率模型、或是邏輯迴歸,講的一個比一個清楚 ,但是聯絡起來卻理解不能   基本概念如下   先驗概率:一個事件發生的概率 \[P(y)\] 後驗概率:一個事件在另一個事件發生條件下的條件概率 \[P(y|x

李巨集毅機器學習P11 Logistic Regression 筆記

我們要找的是一個概率。 f即x屬於C1的機率。 上面的過程就是logistic regression。 下面將logistic regression與linear regression作比較。 接下來訓練模型,看看模型的好壞。 假設有N組trainin

<機器學習實戰>讀書筆記--樸素貝葉斯

1.樸素貝葉斯法是基於貝葉斯定理與特徵條件獨立假設的分類方法, 最為廣泛的兩種分類模型是決策樹模型(Decision Tree Model)和樸素貝葉斯模型(Naive Bayesian Model,NBM) 2.樸素貝葉斯公式 P(B|A)的意思是在A事件的情況下,發生B事件的概率。 3.樸素貝

機器學習 周志華筆記

已經發布部落格   ************************************************************ 周志華教授 機器學習教材總結 資料和特徵決定了機器學習的上限,而模型和演算法只是逼近這個上限而已 問題總結: 生成式模型

【原】Coursera—Andrew Ng機器學習—彙總(課程筆記、測驗習題答案、程式設計作業原始碼)

一、Coursera 斯坦福機器學習課程,Andrew Ng Coursera連線不上,修改hosts檔案 機器學習工具Octave安裝(Win10環境) 課程地址和軟體下載  

機器學習&資料探勘筆記_16(常見面試之機器學習演算法思想簡單梳理)

  前言:   找工作時(IT行業),除了常見的軟體開發以外,機器學習崗位也可以當作是一個選擇,不少計算機方向的研究生都會接觸這個,如果你的研究方向是機器學習/資料探勘之類,且又對其非常感興趣的話,可以考慮考慮該崗位,畢竟在機器智慧沒達到人類水平之前,機器學習可以作為一種重要手段,而隨著科技的不斷髮展,

機器學習實戰》——讀書筆記1

前言 在大學裡,最好的方面不是你研修的課程或從事的研究,而是一些外圍活動:與人會面、參加研討會、加入組織、旁聽課程,以及學習未知的知識。 一個機構會僱傭一些理論家(思考者)以及一些做實際工作的人(執行者)。前者可能會將大部分時間花在學術工作上,他們的日常工作就是基於論文產

機器學習之先驗分佈,後驗分佈,共軛先驗分佈

共軛先驗分佈的提出:某觀測資料服從概率分佈p(θ),當觀測到新的資料時,思考下列問題: 1.能否根據新觀測資料X更新引數θ; 2.根據新觀測的資料可以在多大的程度上改變引數θ:θ=θ+rθ; 3.當重

機器學習之線性迴歸筆記

平臺:windows10 64位 IDE:Pycharm Python版本:Python3.5 github程式碼:原始碼 1 目錄 2 迴歸的理解 迴歸是由高爾頓最先在生物遺傳上提出的,線上性迴歸中,與其說其為迴歸,不如說線性擬合更合

機器學習實戰》讀書筆記2:K-近鄰(kNN)演算法 & 原始碼分析

宣告:文章是讀書筆記,所以必然有大部分內容出自《機器學習實戰》。外加個人的理解,另外修改了部分程式碼,並添加了註釋 1、什麼是K-近鄰演算法? 簡單地說,k-近鄰演算法採用測量不同特徵值之間距離的方法進行分類。不恰當但是形象地可以表述為近朱者赤,近墨者黑

機器學習】兩分佈間距離的度量:MMD、KL散度、Wasserstein 對比

MMD:最大均值差異 Wasserstein距離[1]   實驗 資料來源 Amazon review benchmark dataset. The Amazon review dataset is one of the most widely used b