對資料分佈進行約束
阿新 • • 發佈：2021-08-08
寫這一篇部落格，並不是想要系統的講解深度學習中所使用到的與概率論相關的知識，只是近期在閱讀一些論文時，頻繁地遇到了與此相關的知識點。我上網查了相關資料，總結出此文。
1 supervised learning
對於 supervised learning，分佈指的是關於特徵 \(X\) 和結果 \(Y\) 的聯合分佈 \(F(X,Y)\) 或條件分佈 \(F(Y|X)\)。
訓練集和測試集如果服從同一個分佈，指的是訓練集和測試集都是由服從同一分佈的隨機樣本組成的。即：
\[(X_{train}, Y_{train}),(X_{test}, Y_{test}) \ \ i.i.d \ \ \text{~} F(X,Y) \]2 unsupervised learning
對於 unsupervised learning，分佈指的是特徵 \(X\) 的分佈 \(F(X)\)，即：
\[X_{train}, X_{test} \ \ i.i.d \text{~} \ \ F(X) \]3 分佈約束
-
KL散度（Kullback-Leibler divergence）：
兩個機率分佈P和Q差別的非對稱性的度量。 KL散度是用來度量使用基於Q的分佈來編碼服從P的分佈的樣本所需的額外的平均位元數。典型情況下，P表示資料的真實分佈，Q表示資料的理論分佈、估計的模型分佈、或P的近似分佈。
-
離散型隨機變數：
對於離散隨機變數，其機率分佈P 和 Q的KL散度可按下式定義為
\[D_{KL}(P||Q) = -\sum_{i} P(i)\ln \frac{Q(i)}{P(i)} \]等價於
\[D_{KL}(P||Q) = \sum_{i} P(i) \ln \frac{P(i)}{Q(i)} \]在深度學習中更多使用離散型隨機變數 KL 散度。
-
分佈約束
我們可以對原資料求其真實分佈\(P\)， 並且根據 \(P\) 計算其滿足某一個先驗分佈 \(Q\)，然後計算 \(P\) 和 \(Q\) 的差異（可以通過 KL 散度等方法）約束 \(P\) 與 \(Q\) 儘可能相似。