title: 斯坦福-隨機圖模型-week1.4
tags: note
notebook: 6- 英文課程-9-Probabilistic Graphical Models 1: Representation
---

斯坦福-隨機圖模型-week1.4

獨立性 preliminaries 初步

獨立的數學描述

對於事建 a, b 如果是獨立的那麽使用如下的符號進行描述

獨立的事件有以下的性質：

對於隨機變量有相似的表示

一個例子

還是用之前的成績問題作為例子：

我們可以看到P（I，D）的矩陣中，i0，d0是0.42,正好是P(i0)於P(d0)的乘積，這說明兩個變量有可能是獨立的。

條件獨立

對於有三個隨機變量的情況，可以定義條件獨立，可以描述為

這個條件表述，在Z條件下，x，y是獨立的

條件概率有如下的性質

也就是事建X和事件Z的條件下發生Y同事發生的概率等於 Z的條件下發生Y 乘以 Z的條件下發生Y

條件獨立的例子

如果你選取一個硬幣並且投擲他，假設你不知道者個硬幣是什麽樣的，如果你第一次得到的是正面，那麽你對這個硬幣的得到正面的概率的估計是什麽樣的呢？他應該會變得更高。因為你的觀測證明他向上的，而你不知道這個硬幣是不是均勻的，所以你會傾向於認為這個硬幣更容易得到正面。
所以說下次投擲同樣得到正面的概率會增加。如果我告訴你，我們的硬幣是平均的，那麽我們說這兩次的投擲就會變得獨立，這就是條件獨立的例子。

貝葉斯網絡

獨立和分解

根據我們上面的解釋，我們討論了兩種獨立的現象，他們分別是獨立和條件獨立：

可以看到兩種獨立性都意味著一種因式分解的可能，我們可以根據這種性質將逗號式拆開，變成乘法式。

提出問題：如果我們的公式p可以寫成因式分解的形式，那麽是不是說明 G的結構式獨立的呢？

影響的流動和 d-separation d分離

定義： 如果在G（Z）中是D分離的，那麽在Z的X和Y中沒有active trail(活躍的軌跡)

我們可以使用D分離的理論對獨立性進行證明。

定理：如果P可以因式分解G，並且在G上有X，Y是D分離的，那麽我們認為有X，Y在Z上是條件獨立的。

比如我們可以證明在上述圖中的D和s是相互獨立的：

證明的過程是這樣的，我們先寫出P（D，S）是多少。我們就可以進行因式分解，從而得到：獨立的證明式。

D-Separation是一種用來判斷變量是否條件獨立的圖形化方法。相比於非圖形化方法，D-Separation更加直觀，且計算簡單。對於一個DAG（有向無環圖）E，D-Separation方法可以快速的判斷出兩個節點之間是否是條件獨立的。
對於較為復雜的DAG圖，我們可以給出一個普遍意義上的結論，也就是D-Seperation。對於DAG圖E，如果A，B，C是三個集合（可以是單獨的節點或者是節點的集合），為了判斷A和B是否是C條件獨立的，我們考慮E中所有A和B之間的無向路徑。對於其中的一條路徑，如果她滿足以下兩個條件中的任意一條，則稱這條路徑是阻塞（block）的：
（1）路徑中存在某個節點X是head-to-tial或者tail-to-tail節點（情況一和情況二），並且X是包含在C中的；
（2）路徑中存在某個節點X是head-to-head節點（情況三），並且X或X的兒子是不包含在C中的；
如果A，B間所有的路徑都是阻塞的，那麽A，B就是關於C條件獨立的；否則，A，B不是關於C條件獨立的。

I-maps 無關圖，

如果在G圖中是d分離的，那麽P就會符合條件獨立的陳述。

我們就可以使用Imap的形式對整個的圖像進行描述。

如果我們發現對於所有的P都是條件無關的我們說，P是一個無關圖。

比如對於下面的圖中：

也就是在D，I沒有鏈接的情況下，G1的無關圖是

有了上述的基礎我們就可以對我們的因式分解的過程進行解釋了，我們剛才只是在使用這個公式，並沒有有效的證明他，大家可以看到下面的這一部分。

斯坦福-隨機圖模型-week1.4_