上一節中，我們使用了鮭魚和鱸魚的例子直觀的感受了貝葉斯決策的過程。這一節中，我們更一般化的討論這個問題。
引入以下四個條件來一般化這個問題：

• 允許使用多於一個的特徵
• 允許多於兩種類別的模型
• 允許有其他行為而不僅僅是判定類別
• 通過引入一個更一般的損失函式來替代誤差概率

多於一個的特徵

在上一節使用單個特徵時，我們使用x$x$來表示這個特徵，現在當我們使用多於一個特徵時，只需要將特徵標量x$x$轉化為特徵向量x⃗ $\overrightarrow{x}$，其中x⃗ $\overrightarrow{x}$處於d$d$維的歐式空間Rd$R^d$,稱為特徵空間。

多於兩種類別的模型

在上一節只有兩種類別時，我們使用w1,w2$w_1,w_2$來表示兩種類別，自然的，推廣到多種類別時，我們使用

{w1,w2,...wc}$\{w_1,w_2,...w_c\}$來表示有限的c種類別。

有其他行為而不僅僅是判定類別

我們使用{α1,α2,...αα}$\{{\alpha }_1,{\alpha }_2,...{\alpha }_{\alpha }\}$來表示有限的α$\alpha$種行為。λ(αi|wj)$\lambda ({\alpha }_i|w_j)$來表示類別為wj$w_j$時採用行為αj${\alpha }_j$的風險。

此時的後驗概率P(wj|x⃗ )$P(w_j|\overrightarrow{x})$依然通過貝葉斯公式求得：

P(wj|x⃗ )=P(x⃗ |wj)P(wj)P(x⃗ )$$P(w_j|\overrightarrow{x})=\frac{P(\overrightarrow{x}|w_j)P(w_j)}{P(\overrightarrow{x})}$$

更一般的損失函式

假定我們觀測到特徵向量x⃗ $\overrightarrow{x}$並將採用行為αi${\alpha }_i$，定義與αi${\alpha }_i$相關聯的損失函式為

R(αi|x

⃗ )=∑j=1cλ((αi|wj)P(wj|x⃗ )$$R({\alpha }_i|\overrightarrow{x})=\sum _{j=1}^c\lambda (({\alpha }_i|w_j)P(w_j|\overrightarrow{x})$$
用決策理論中的術語來表達，一個預期的損失被稱為一次風險，R(αi|x⃗ )$R({\alpha }_i|\overrightarrow{x})$被稱為條件風險。當我們跟觀測到一個特徵向量x⃗ $\overrightarrow{x}$時，我們總可以選擇最小化條件風險來使預期風險最小化。

判決規則和總風險

一般來講，我們希望有一個判決函式α(x⃗ )$\alpha (\overrightarrow{x})$，對於每一個給定的x⃗ $\overrightarrow{x}$，判決函式都會給出一個對應的α$\alpha$值，來決定對應於x⃗ $\overrightarrow{x}$的行為。總風險R是對於這個判決規則的預期損失。

R=∫R(α(x)|x⃗ )p(x⃗ )dx

相關推薦

貝葉斯決策論（二）

上一節中，我們使用了鮭魚和鱸魚的例子直觀的感受了貝葉斯決策的過程。這一節中，我們更一般化的討論這個問題。 引入以下四個條件來一般化這個問題： 允許使用多於一個的特徵 允許多於兩種類別的模型 允許有其他行為而不僅僅是判定類別 通過引入一個更一般的損失函式來替

貝葉斯思想（二）

再訪拼寫糾正 介紹了貝葉斯拼寫糾正之後，接下來的一個自然而然的問題就來了：“為什麼？”為什麼要用貝葉斯公式？為什麼貝葉斯公式在這裡可以用？我們可以很容易地領會為什麼貝葉斯公式用在前面介紹的那個男生女生長褲裙子的問題裡是正確的。但為什麼這裡？ 為了回答這個問題，一個常見的思路就是想想：

全概率公式、貝葉斯公式（二）

（1）條件概率公式         設A,B是兩個事件，且P(B)>0,則在事件B發生的條件下，事件A發生的條件概率（conditional probability)為：             &n

機器學習(5)——貝葉斯學習（二）

在上一節的分析中，我們的討論基本上都是以一個輸入變數來討論，但是在實際的情況中，存在不止一個輸入變數，那麼我們如何從多個不同量和觀察來推導概率呢？這一章中我們將基於這個問題來進行相關的討論。 在開始之前，先介紹一個概念——貝葉斯網路（Bayesian Netw

第3章 樸素貝葉斯演算法 （二 演算法實戰）

3.6樸素貝葉斯實踐 3.6.1樸素貝葉斯之微博評論篩選 以微博評論為例。為了不影響微博的發展，我們要遮蔽低俗的言論，所以要構建一個快速過濾器，如果某條評論使用了負面或者侮辱性等低俗的語言，那麼就將該留言標誌為內容不當。過濾這類內容是一個很常見的需求。對此問題建

貝葉斯網（2）Netica：從數據中學習CPT

指向 搭建 上一個 劃分 認知 圖劃分 4.0 ont 再次 1. 離散節點 在官方Tutorial中是有詳細的案例的，就是B篇3.3節，你可以動手把天氣預報這個實現一下： http://www.norsys.com/tutorials/netica/secB/tut_B3

機器學習之貝葉斯網路（三）

引言 　　貝葉斯網路是機器學習中非常經典的演算法之一，它能夠根據已知的條件來估算出不確定的知識，應用範圍非常的廣泛。貝葉斯網路以貝葉斯公式為理論接觸構建成了一個有向無環圖，我們可以通過貝葉斯網路構建的圖清晰的根據已有資訊預測未來資訊。貝葉斯網路適用於表達和分析不確定性和概率性的事件，應用於有條件地依賴多種控

機器學習實戰（Machine Learning in Action）學習筆記————04.樸素貝葉斯分類（bayes）

機器學習實戰（Machine Learning in Action）學習筆記————04.樸素貝葉斯分類（bayes）關鍵字：樸素貝葉斯、python、原始碼解析作者：米倉山下時間：2018-10-25機器學習實戰（Machine Learning in Action,@author: Peter Harri

貝葉斯思想（四）

參考http://mindhacks.cn/2008/09/21/the-magical-bayesian-method/ 3.2 模型比較理論（Model Comparasion）與貝葉斯奧卡姆剃刀（Bayesian Occam’s Razor） 實際上，模型比較就是去比較哪個模型（猜

貝葉斯思想（三）

最大似然還有另一個問題：即便一個猜測與資料非常符合，也並不代表這個猜測就是更好的猜測，因為這個猜測本身的可能性也許就非常低。（此處我覺得可以理解為複雜的曲線去精確匹配樣本分佈，但是這種曲線非常複雜，容易過擬合，反而效果不好） 比如 MacKay 在《Information Theory

貝葉斯網路（筆記）

貝葉斯定理 幾個概念： 1. 條件概率：P(A|B)=P(A⋂B)P(B)，指在事件B發生的條件下A發生的概率。 2. 聯合概率：即A B同時發生的概率，即P(A,B)=P(A⋂B)

全概率公式和貝葉斯公式（轉載）

在概率論與數理統計中，有兩個相當重要的公式——全概率公式與貝葉斯公式。然而很多人對這兩個公式感到非常迷茫。一來不知道公式背後的意義所在，二來不知道這些冰冷的公式能有什麼現實應用。 1. 全概率公式 在講全概率公式之前，首先要理解什麼是“完備事件群”。  我們將滿足 

機器學習----貝葉斯分類器（貝葉斯決策論和極大似然估計）

貝葉斯決策論 貝葉斯決策論（Bayesian decision theory）是概率框架下實施決策的基本方法。在所有相關概率都已知的理想情況下，貝葉斯決策論考慮如何基於這些概率和誤判斷來選擇最優的類別標記。 假設有N種可能的類別標記，即Y={c1,c2,.

邏輯迴歸和樸素貝葉斯演算法實現二值分類（matlab程式碼）

資料簡介：共有306組資料，每組資料有三個屬性(x1,x2,x2)，屬於0類或者1類。 資料序號末尾為1的是測試集，有31組；其他的作為訓練集，有275組。 clear clc load('

機器學習實戰（三）樸素貝葉斯NB（Naive Bayes）

目錄 0. 前言 1. 條件概率 2. 樸素貝葉斯（Naive Bayes） 3. 樸素貝葉斯應用於文字分類 4. 實戰案例 4.1. 垃圾郵件分類案例 學習完機器學習實戰的樸素貝葉斯，簡單的做個筆記。文中

貝葉斯網路（belief network）及相關知識整理

貝葉斯網路（belief network）及相關知識 頻率派：認為theta是個固定的未知常數。認為樣本是隨機的，重點研究樣本分佈 貝葉斯派：認為theta是不確定的未知數。認為樣本是固定的，重點研究引數theta的分佈   貝葉斯的思考方式不同於傳統“非黑即白，非0即1”的思考方

樸素貝葉斯分類（Naive Bayes,NB）

1.https://blog.csdn.net/guoyunfei20/article/details/78911721 2.https://www.cnblogs.com/zhoulujun/p/8893393.html 3（賦程式碼）.https://blog.csdn.net/fuqi

貝葉斯網路（機器學習系列，持續更新中~）

在說貝葉斯規則（Bayes rule）和將貝葉斯規則用於圖模型之前，先讓大家瞭解下機器學習的四個正規化（paradigms），也可以理解為四個流派； 連線主義（connectionist）：用現在比較流行的說法就是神經網路，現在用到的工具有Tensorflow

李航統計學習方法之樸素貝葉斯法（含python及tensorflow實現）

樸素貝葉斯法 樸素貝葉斯法數學表示式 後驗概率最大化的含義        樸素貝葉斯是一個生成模型。有一個強假設：條件獨立性。我們先看下樸素貝葉斯法的思想，然後看下條件獨立性具體數學表示式是什麼樣的。

資料探勘領域十大經典演算法之—樸素貝葉斯演算法（超詳細附程式碼）

簡介 NaïveBayes演算法，又叫樸素貝葉斯演算法，樸素：特徵條件獨立；貝葉斯：基於貝葉斯定理。屬於監督學習的生成模型，實現簡單，沒有迭代，並有堅實的數學理論（即貝葉斯定理）作為支撐。在大量樣本下會有較好的表現，不適用於輸入向量的特徵條件有關聯的場景。 基本思想 (1)