一、基本概念

1、先驗概率：

定義：由以往資料分析得到的概率

根據大量樣本情況的統計，在整個特徵空間中，任取一個特徵向量x，它屬於類Wj的概率，即P(wj)。
如果總共有c個類別
P(w1)+P(w2)+...+P(wc)=1

2、後驗概率

當我們獲得了某個樣本的特徵向量X，則在x條件下樣本屬於類wj的概率P(wj|x)成為後驗概率。

3、類條件概率

P(x|wj)是指當已知類別為wj的條件下，看到樣本x出現的概率。

4、獲取後驗概率

通過貝葉斯公式

P(wj) 先驗概率（總共有n個類別）
P(x|wj) 類條件概率
P(x) 由全概率公式求出的

二、最小風險貝葉斯分類

定義：最小錯誤率貝葉斯分類錯誤的概率最小，但是，每次分類錯誤帶來的損失是不一樣個的。

例如：要判斷某人是正常（w1）還是肺病患者（w2）,於是在判斷中可能出現以下情況：
第一類：判對（正常—>正常） λ11；
第一類：判錯（正常—>肺病） λ21；
第一類：判對（肺病—>肺病） λ22；
第一類：判錯（肺病—>正常） λ12；
第二類和第四類屬於分類錯誤
顯然第四類錯誤帶來的隨時大於第二類錯誤帶來的損失

為了評估分類錯誤的風險，引入以下概念：

- 決策αi: 表示把模式x判決為wi類的一次行動
- 判策空間：所有決策αi的集合
- 損失函式：λij = λ(αi, wj)
表示模式x本來屬於wj類而採取的決策為αi時所帶來的損失，這樣就可以得到風險矩陣
- 條件風險（也叫條件期望損失）：對於x採取一個判決行動αi(x)所冒的風險（或所付出的代價）

風險矩陣：

1、最小風險判決準則

首先舉一個例子：