title: 斯坦福-隨機圖模型-week2.1
tags: note
notebook: 6- 英文課程-9-Probabilistic Graphical Models 1: Representation
---

斯坦福-隨機圖模型-week2.1

plate model 模板模型

4. Plate 模型

　　時序模板模型，通常還有一類情況需要模板模型：問題中有多個相同類型的不同對象，希望建立模板對這些對象進行統一考慮。

4.1 硬幣采樣例子

　　如何理解 Plate 模型的機制，以最簡單的硬幣采樣為例 ：
這裏寫圖片描述

　　這是從單個硬幣采樣的一系列硬幣投擲結果的 Plate 模型，模型是對“投擲這個硬幣”這個事件的多次重復（repetition）。描述從同一分布中多次獨立生成隨機變量的機制。這些隨機變量的值域相同；方框表示這些隨機變量產生於同一個分布，故產生機制相同，即 Outcome 對每個 tk 有相同的條件概率分布。方框隱含一個方框參數 θ 來刻畫這種產生機制，與這是第幾次投擲即 tk 無關。

4.2 模型步驟例講

4.2.1 步驟解析

對象（object）: 將問題世界看作由一組對象構成；

類（class）: 類是對象的一個特定的集合，簡單情況下可將對象劃分為一組不相交的類。

??原書對 Plate 模型概述如下5（列出提供參考，可忽略）

A plate model provides a language for encoding models with repeated structure and shared parameters. As in the case of DBNs, the models are represented at the template level; given a particular set of objects, they can then be instantiated to induce a ground Bayesian network over the random variables induced by these objects. Because there are infinitely many sets of objects, this template can induce an infinite set of ground networks.

　　　上述粉色文字解釋了 Plate 模型思路：給定對象的一個特定集合，通過實例化它們，導出的一些隨機變量。並在這些隨機變量上導出一個基礎貝葉斯網。具體實施分為以下步驟：

　　Step 1：明確問題世界中對象集類；

　　Step 2：實例化類來導出隨機變量；

　　Step 3：分別明確這些隨機變量的父節點集；

　　Step 4：通過父節點在子節點上的條件概率分布（CPD）定義基礎貝葉斯網絡。

4.2.2 簡單成績例子

　　這些步驟後文會給出形式化表示，這裏先結合例子理解步驟的含義。簡單成績例子：學生的成績 G(S) 決定於該學生的智商 I(S)。

這裏寫圖片描述

Step 1（對象集類）: 所有學生 si 組成學生類 S；

Step 2（隨機變量）: 學生的智商 I(S)，學生的成績 G(S) 由 S 對 I,G 實例化得到；

Step 3（變量父節點集）:

學生的成績 G(S) 決定於該學生的智商，即 PaG={I(S)}；

學生的智商本身就是貝葉斯網中的父節點，即 PaG=?；

Step 4（條件概率分布）: P(G(S)|I(S))，即圖中右邊導出的基礎貝葉斯網的結構參數。

4.2.3 硬幣投擲例子

Step 1（對象集類）: 投擲行為 T，tk 表示第 k 次投擲；

Step 2（隨機變量）: 投擲結果 Outcome(T)；

Step 3（變量父節點集）: 例中 O 是網絡中單一節點；

Step 4（條件概率分布）: P(O(T)) 表示投擲該硬幣所產生的結果的分布。

4.3 模型形式構架

??前文的時序模型中，模板變量基於時間采集。

??這裏 Plate 模型中，模板變量基於對象采集。

4.3.1 形式化表示

　　基於前文對於模型步驟的理解，這裏給出形式化表述。

模型指標：客觀世界中的對象集合類型（objects types） Ui，可以被不同 Plate 使用；

模板屬性：或稱模板變量，它有一組模型指標作為參數（is indexed by a bunch of objects types），表示為 A(U1,...,Uk) ；

??前文粉色標記出的模型步驟，形式化表述如下：

對於有屬性 A(U1,...,Uk) 的 Plate，Plate 模型定義了一個該 Plate 父節點集合 (template parents) 為 PaA={B1(UA1),…,Bm(UAm)}，並定義該 Plate 的模板 CPD P(A|PaA)。

??舉例（成績模板）: 構建一個關於學生（Student, s）和課程（Course, c）的成績模板，模板屬性 Grade(S,C) 的參數為模型指標 S,C ，分別可以用學生類中某個學生，課程類中某門課程來實例化。

即 Grade 可以對不同的 (s,c) 實例化，從而生成多個隨機變量 Grade(s,c)。

??這個成績模板只是一個模板，但模型由多個模板組成。現在構建成績模型。

?

舉例（成績模型）: 如圖模型由兩個模型指標 S,C，和三個模板屬性 Grade(S,C),Intelligence(S),Difficulty(C)。模板屬性間關系為 D→G←I。

4.3.2 圖形化表示

　　Plate 模型由多個模板組成。每一個 Plate 有其對應的一個模型指標，模型指標根據模型結構決定模板屬性。圖形化表示易於理解，如成績模型中的圖示：

方框對應模型指標（對象集類），在右下角標明。這就是 Plate；

節點對應模板屬性（模板變量），放入其參數指標對應 Plate 中；

方框間可嵌套重疊：若一個變量被置於多個方框中，則該變量依賴於這多個模型指標；

節點間的邊表示模板屬性間的依賴關系，但這還不是貝葉斯網絡。模板屬性實例化之後將展開為基礎貝葉斯網。

　 　註：“模板屬性”和“模板變量”都指模板屬性，但後文“變量”是“模板屬性”實例化後得到的，是基礎貝葉斯網中的節點。

??需要註意以下幾處的理解：

　　1）模板的 CPD

　　每個模板確定了一種模板的 CPD，可以重復應用於 any copy of 模板屬性 A。這些 copies of 模板屬性是其模型指標 U=(U1,...,Uk) 的實例化（concrete instantiations of indices），即 A(u1,…,uk)。

　　2）模板間 CPD

　　對於模板屬性 A(U1,...,Uk) 和其父模板屬性 B1(UA1),…,Bm(UAm)，它們之間的依賴關系由模板間 CPD P(A|B1,...Bm) 給出。

　　3）轉換為貝葉斯網表示：每一個模板屬性實例化之後即為變量，設置為節點，變量間關系由模板間 CPD 決定。設模板屬性 A 實例化後得到 ak，Bi 實例化後得到 bik，m 個 bik 的每個組合（i=1,2,…,m）都是 ak 的一組父節點，ak 與每組父節點間邊都由模板間 CPD P(A|B1,...Bm) 決定。

　　4）父節點不可以有子節點沒有的參數（we cannot have an index in the parent that doesn’t appear in the child）

　　比如 Honors(S) 依賴於 Grade(S,C)：但 H 不是 G 的 CPD，Plate 模型無法表示。
　　比如孩子的 Phenotype(Person) 依賴於父母的 Phenotype(Person)：但 Phenotype 取決於一個人本身的 Genotype，即模型明確來講是 Phenotype(Genotype,Person) 依賴於 Phenotype(Person)，同樣不是一個標準 CPD，無法用 Plate 模型。

4.3 三種 Plate 模型

??針對不同情形，不同 Plate 可通過嵌套或重疊來迎合模板屬性對於模型指標的依賴關系。

??參閱原書翻譯版 Page 213，有三種 plate 模型。考慮學生例子：S,C,D,I,G 分別為 Student，Course，Difficulty，Intelligence 和 Grade。下圖為學生例子中三種 Plate 模型6：
這裏寫圖片描述

　　(a): 單一 plate（Single plate）: 多個來自同一分布的獨立采樣，詳見這裏；

　　(b): 嵌套 plate（Nested plates）: 多門課程，每門課程有學生的一個分離集；

　　(c): 相交 plate（Intersecting plates）: 有重疊（overlapping）的學生集的多門課程，詳見這裏；

4.4 集體推理中的應用

　　Plate 模型在相互依賴的復雜（intricate）網絡中捕獲簡潔明了的關聯（correlated）結構，使得我們在不同孤立個體對象（individuals in isolation）之間獲得了更多有價值的信息。對於橫跨多個對象的編碼來說支持集體推理（collective inferrence）。

　　假設有多個不同難度的課程，多個不同智力的學生，那麽顯然在更加難的課程上拿到 A 的學生智商更高，智商低的學生拿到 A 的課程難度更低等。

4.5 Plate 模型總結

??Plate 模型是對象-關系領域的有向概率圖模型基於模板的表示。模型指標來源於對象集類型，模板屬性是一些對象集的性質。

模板在每一個模板屬性上定義，模板間的關系由 Plate 的嵌套或重疊表示，這是通過 Plate 的模板屬性共享部分模型指標實現的。

無限大貝葉斯網：Plate 模型描述了每個子節點依賴於不同的父節點集合的關系，是針對貝葉斯網絡的一個無限模板。

重復結構和參數：類似 Temporal 模型，Plate 模型也編碼了重復結構（模板屬性）和共享參數（模板間 CPD 關系）；

集體推理：對於橫跨多個對象的編碼來說支持集體推理（collective inferrence）

模型限制：父模板屬性的參數集 ? 子模板屬性參數集。且不能描述時序模型。

斯坦福-隨機圖模型-week2.1_