這些概念考量的是一組變數之間的關係, 不妨設定兩個隨機變數 X~P(X)$X\text{~}P(X)$ 與 Y~P(Y)$Y\text{~}P(Y)$.

聯合概率分佈 joint probability distribution

joint probability 指的是多個變數聯合發生的概率分佈.

P(X=x,Y=y)$$P(X=x,Y=y)$$, 也可以簡記做 P(x,y)$$P(x,y)$$

邊緣概率分佈 marginal probability distribution

我們已知兩個有限的離散型隨機變數 X$X$ 與 Y$Y$ 以及它們的聯合概率分佈, 那麼我們就是把 P(X,Y)$P(X,Y)$ 寫成一個表格形式, 每一行代表一個

x∈X$x\in X$, 每一列代表一個 y∈Y$y\in Y$, 那麼我們可以把每一行的 P(x,y)$P(x,y)$加和, 寫到右邊的邊緣處(margin), 這就是對應行 X=x$X=x$ 的概率, 即

∀x∈X,P(X=x)=∑yP(X=x,Y=y)$$\mathrm{\forall }x\in X,P(X=x)=\sum _{y}P(X=x,Y=y)$$, 我們就把這種子集上的概率分佈依記賬形式記做 邊緣概率分佈 (marginal probability distribution).
同理, 對於連續型隨機變數, 只要把求和變成積分即可 p(x)=∫p(x,y)dy$$p(x)=\int p(x,y)dy$$

條件概率和鏈式法則 conditional probability & chain rule

顧名思義, 條件概率指的是某個事件在給定其他條件時發生的概率, 這個非常符合人的認知:我們通常就是在已知一定的資訊(條件)情況下, 去估計某個事件可能發生的概率. 概率論中,用 | 表示條件, 條件概率可以通過下式計算得到

P(Y=y|X=x)=P(Y=y,X=x)P(X=x)$$P(Y=y|X=x)=\frac{P(Y=y,X=x)}{P(X=x)}$$, 即 在 x 發生的條件下 y 發生的概率 等於 x,y 同時發生的聯合概率 除以 x自身的概率. 注意, 必須滿足 P(x)>0$P(x)>0$, 否則對於永遠不會發生的事情討論條件概率無意義.

基於條件概率, 任意多維隨機變數的聯合分佈都可以寫成其中任意一個隨機變數的條件概率相乘的形式

P(x(1),...,x(n))=P(x(1))∏i=2nP(x(i)|x(1),...,x(i−1))$$P({\mathbb{x}}^{(1)},...,{\mathbb{x}}^{(n)})=P({\mathbb{x}}^{(1)})\prod _{i=2}^{n}P({\mathbb{x}}^{(i)}|{\mathbb{x}}^{(1)},...,{\mathbb{x}}^{(i-1)})$$,

具體而言, 對於一個三元分佈 :

P(a,b,c)=P(a|b,c)p(b,c)=P(a|b,c)P(b|c)P(c)$$P(a,b,c)=P(a|b,c)p(b,c)=P(a|b,c)P(b|c)P(c)$$, 這樣通常很難直接得到的 P(a,b,c)$P(a,b,c)$ 就分解為以下三個簡單的情形乘積的形式:

1. P(c):c$P(c):c$ 發生的概率, 通常已知.
2. P(b|c):c$P(b|c):c$ 發生的條件下, 觀察到 b$b$ 的概率, 通常從資料中挖出.
3. p(a|b,c):b,c$p(a|b,c):b,c$ 同時發生的條件下, 觀察到 a$a$ 的概率, 通常從資料中挖出.

獨立性和條件獨立性 independent & conditionally independent

由上面的 joint probability, 滿足下面的條件

∀x∈X,

相關推薦

【概率論】聯合概率, 邊緣概率, 條件概率, 鏈式法則 和 獨立性

這些概念考量的是一組變數之間的關係, 不妨設定兩個隨機變數 X~P(X)X~P(X) 與 Y~P(Y)Y~P(Y). 聯合概率分佈 joint probability distribution joint probability 指的是多個變數聯合

【統計學】聯合概率、邊緣概率、條件概率之間的關係

1.聯合概率 聯合概率指的是包含多個條件且所有條件同時成立的概率，記作P(X=a,Y=b)或P(a,b)。 2.邊緣概率 邊緣概率是與聯合概率對應的，P(X=a)或P(Y=b)，這類僅與單個隨機變數有關的概率稱為邊緣概率。 3.聯合概率與邊緣概率的關係  P(X=

【概率論】條件概率 & 全概率公式 & 樸素貝葉斯公式

  0. 說明 　　條件概率 & 全概率公式 & 樸素貝葉斯公式 學習筆記   　　參考 　　scikit-learn機器學習（五）--條件概率，全概率和貝葉斯定理及python實現   1. 條件概率 　　【定義】 　　已知 事件A 發

【bzoj2384】[Ceoi2011]Match 特殊匹配條件的KMP+樹狀數組

esp 數組 scanf 題目 bound lower 表示 highlight tle 題目描述 給出兩個長度分別為n、m的序列A、B，求出B的所有長度為n的連續子序列（子串），滿足：序列中第i小的數在序列的Ai位置。 輸入 第一行包含兩個整數n, m (2≤

【bzoj4641】基因改造 特殊匹配條件的KMP

ceo ring 字符 復雜度 digi fread cst ati 復雜 題目描述 如果兩個長度相等的字符串，如果存在一種字符的一一映射，使得第一個字符串的所有字符經過映射後與第二個字符串相同，那麽就稱它們“匹配”。現在給出兩個串，求第一個字符串

【NOIP2014】 聯合權值

題意連結 解法：           預處理統計出每個節點與其相連的所有節點中，所有點的權值之和，與點權第一第二大的兩個，           然後列舉每一個點算出包括改點的有序點對中的聯

【演算法】BILSTM+CRF中的條件隨機場

BILSTM+CRF中的條件隨機場 tensorflow中crf關鍵的兩個函式是訓練函式tf.contrib.crf.crf_log_likelihood和解碼函式tf.contrib.crf.viterbi_decode crf_log_likelihood(inputs, tag_indices, s

【概率論】作業二

突然發現這一份作業忘發了…… 151220129 計科 吳政億 習題一 15.P(B|A)=P(AB)P(A)=4∗p(AB)=13⇒P(AB)=112P(B|A)=P(AB)P(A)=4∗p(AB)=13⇒P(AB)=112 P(A|B)=P(AB

【概率論】1-0：介紹

title: 【概率論】1-0：Introduction categories: Mathematic Probability keywords: Probability 概率 the Frequency Interpretation 頻率概率 the Cl

【概率論】伯努利分佈 Bernoulli Distribution

Bernoulli distribution 是最簡單的單個二值隨機變數的分佈. 它由單個引數 ϕ∈[0,1]ϕ∈[0,1] 控制, 其中引數 ϕϕ 給出了隨機變數等於 11 的概率. 舉個栗子 飲料擰開瓶蓋只有兩種狀態, 謝謝惠顧=0,再來一瓶=1謝謝

【概率論】Laplace 分佈 / Laplace Distribution

PDF 滿足以下表達式的概率分佈稱為 Laplace 分佈, Laplace(x;μ,γ)=12γexp(−|x−μ|γ)Laplace(x;μ,γ)=12γexp(−|x−μ|γ), 其中 μμ 是位置引數, 中心峰值出現的位置 γγ 是尺度引數,

【概率論】二項分佈 Binomial Distribution

Binomial Distribution 描述的是 Bernoulli 試驗獨立重複 nn 次的結果, 可以用 (n,p)(n,p) 兩個值來描述, 其中 nn 代表試驗的次數, pp 與 Bernoulli distribution 中的 pp 同義. PM

【概率論】客觀概率論 私人回顧

本科期間學過概率論，隨機過程，讀研期間又學了隨機過程。這次做一個總結和回顧，把概率論要緊的知識點和我的理解放在這篇blog裡。這是一篇全文字不加圖的blog，如果沒有學過概率論來看我寫的這個東西，很可能看一段就看不懂了。選擇的是浙大版的《概率論與數理統計》第四版

【譯】在React中實現條件渲染的7種方法

原文地址：https://scotch.io/tutorials/7-ways-to-implement-conditional-rendering-in-react-applications 藉助React，我們可以構建動態且高度互動的單頁應用程式，充分利用這種互動性的一種方法是通過條件渲染。 目錄

【BZOJ1969】[Ahoi2005]LANE 航線規劃 離線+樹鏈剖分+線段樹

個數 wap 鎖定 樹邊 mes zoj swap 相同 swa 【BZOJ1969】[Ahoi2005]LANE 航線規劃 Description 對Samuel星球的探險已經取得了非常巨大的成就，於是科學家們將目光投向了Samuel星球所在的星系—&md

【Vue】Vue的依賴追蹤系統 ——搞懂methods watch和compute

主動 總結 惱怒 pda 實現 好的 template attr 一個 從作用機制和性質上看待methods,watch和computed的關系 圖片標題[原創]:《他三個是啥子關系呢？》 首先要說，methods,watch和computed都

【BZOJ4811】[Ynoi2017]由乃的OJ 樹鏈剖分+線段樹

size 數值 sin 分數 strong str blank cstring else 【BZOJ4811】[Ynoi2017]由乃的OJ Description 由乃正在做她的OJ。現在她在處理OJ上的用戶排名問題。OJ上註冊了n個用戶，編號為1～"，一開始他們

【轉】C#中的兩把雙刃劍：抽象類和接口

實例 可維護 對象 為什麽不使用 程序 一定的 代碼 方式 索引 轉：http://www.cnblogs.com/djzxjblogs/p/7587735.html 第一次面試的時候， 面試官問我，抽象類和接口的區別。 本人也是，按照面試寶典上的回答，說了一大堆。

【20171115】BugFree使用手冊（三）Bugfree界面和後臺管理

結果 所有 idt 重新 case 系統 切換 cal define 三、Bugfree界面 1. 登錄界面 　　如圖所示： 　　 2. 主界面 　　輸入系統提供的默認管理員用戶名：admin，密碼（原始）：123456；語言選擇默認“簡體中文”。點擊“登錄”按鈕，來到

【java】google的zxing架包生成二維碼和讀取二維碼【可帶文字和logo】

oms cga dispose framework 增加 span 記錄 ora obj 承接RC4生成不重復字符串的需求之後，因為優惠碼要方便用戶使用的緣故，所以思來想去，覺得還是直接生成二維碼給用戶直接掃比較實用，也不用用戶專門記錄冗長的優惠碼編號。 =========