1. 程式人生 > >從貝葉斯公式到貝葉斯判別準則

從貝葉斯公式到貝葉斯判別準則

原來線性判別分析、平方判別分析、樸素貝葉斯這麼簡單直白。

前方將出現大量數學公式推導證明,為防止煩躁不適,先複習一下幾個重要概念。

1.1一維高斯變數X~N(μ,),則概率密度函式

                                           

1.2多維高斯變數 ,X~N(μ,∑) , μ 為p維向量, 為p×p 維的方差協方差矩陣:

                            

1.3貝葉斯公式:

                                                      

P(A|B)表示B事件發生時A事件發生的概率,往往不能直接求,而P(B|A)求起來較為方便。在這裡,P

(A) 為事件A發生的先驗概率(prior probability)(先驗概率就是指根據以往經驗和分析得到的概率,可以是相對客觀或者存在主觀偏差的,比如拋硬幣在歷史上正反面的概率各是1/2,這就是在無數歷史實驗得到的客觀準確概率)。P(A|B)為後驗概率(posterior probability),即條件概率。

下面進入正題:對於常見的分類任務(classification),設表示類別的隨機變數Y的樣本空間{1,2,……,K},對於樣本 屬於第k 類的概率:

                                                   

依據全概率公式將上式分母展開:

                                                     

其中 是隨機選擇的樣本觀測值來自第 類的先驗概率。

2.1.當 為標量值(scalar)時,

                                     

注意到分母對於 都是一樣的,其中引數 ,都需要從樣本資料集中估計得到。要確定該樣本屬於哪一類,只有找到使得下式分子最大的k值(防止計算溢位取對數)。

                                                          

如果K=2且 (常見的二分類且樣本類別均衡),分類器將

判定為第一類

                             

的估計如下:

                                                   

                                                            

2.1 Linear Discriminant Analysis

為向量時,即隨機變數 ,

多元隨機變數的高斯分佈密度函式:

在此給出與標量情況相同的假設

                            

從上式中可以看出:決策函式 的線性函式(所以稱為Linear Discriminant Analysis), 這一項表明樣本類別的不均衡可能對條件概率值有影響。

                                

為方便後期寫程式碼,這裡把各個向量長度或矩陣維度列一下:

當K=2時並且  (二分類問題),

                      

2.2Quadratic Discriminant Analysis

當給出更弱的假設:屬於第k類觀測向量

                             

為方便後期寫程式碼,這裡把各個向量長度或矩陣維度列一下:

                                  

決策函式與 相關

2.3Naïve Bayesian Classifier

在計算第k類的概率分佈時需要計算協方差矩陣,計算複雜度為O(kp^2),在這裡可以進一步簡化,假設 的各個屬性獨立,由此計算複雜度降為O(kp):

                                

                 

                       

所以剩下的任務就是從樣本資料集估計 了。

2.4Laplacian correction

為了避免因訓練樣本不充分導致的概率估值為0,需要進行拉普拉斯修正,設 為訓練集D(大小為|D|)中的可能類別數, 為第i屬性可能的取值數, 為訓練集D中屬於第k類的樣本數。

                                                        

參考文獻:1.《The Elements of Statistical Learning》  2.《The Introduction to Statistical Learning》