ps：這是對模式識別與機器學習這本書的學習筆記，主要是一些自己的看法和總結（需要有一定的機器學習基礎，同時要結合PRML這本書）
模式識別：模式識別是指對錶徵事物或現象的各種形式的(數值的、文字的和邏輯關係的)資訊進行處理和分析，以對事物或現象進行描述、辨認、分類和解釋的過程，是資訊科學和人工智慧的重要組成部分。

（一），這一章首先介紹模式識別的概念和步驟，並一個例子進行說明。–特徵，學習，測試，以及相關方法。其次說明了模式識別過程中其實是運用概率論、決策論、資訊理論的相關知識。

（二），概率論：
1，模式識別與概率論的關係：在模式識別領域的⼀個關鍵概念是不確定性的概念，概率論提供了⼀個合理的框架，⽤來對不確定性進⾏量化和計算。

2，接著介紹了概率論的相關概念：
1）從聯合分佈、邊緣分佈，條件概率出發提出了概率的兩個規則（加和、乘積）：即，邊緣分佈是聯合分佈的關於某一個變數的概率求和；聯合分佈是邊緣分佈和條件分佈的乘積。同時也提出了貝葉斯定理。
2）從連續分佈出發解釋了加和和乘積規則（用積分代替了求和）
3）介紹了期望、方差、協方差：
期望：是函式的加權平均值，代表的是函式值相對概率的的加權值。（也有條件期望，同時可以根據大資料定律對期望進行估計）
方差：是函式值與期望差值平方的期望值，它度量了f(x)在均值E[f(x)]附近變化性的⼤⼩。
協方差：它表⽰在多⼤程度上x和y會共同變化。如果獨立，協方差為0。

3，接著介紹了用概率論建模的兩種思路：頻率學、貝葉斯概率（簡單地說，頻率學派與貝葉斯學派探討「不確定性」這件事時的出發點與立足點不同。頻率學派從「自然」角度出發，試圖直接為「事件」本身建模，即事件A在獨立重複試驗中發生的頻率趨於極限p，那麼這個極限就是該事件的概率。舉例而言，想要計算拋擲一枚硬幣時正面朝上的概率，我們需要不斷地拋擲硬幣，當拋擲次數趨向無窮時正面朝上的頻率即為正面朝上的概率。然而，貝葉斯學派並不從試圖刻畫「事件」本身，而從「觀察者」角度出發。貝葉斯學派並不試圖說「事件本身是隨機的」，或者「世界的本體帶有某種隨機性」，這套理論根本不言說關於「世界本體」的東西，而只是從「觀察者知識不完備」這一出發點開始，構造一套在貝葉斯概率論的框架下可以對不確定知識做出推斷的方法。頻率學派下說的「隨機事件」在貝葉斯學派看來，並不是「事件本身具有某種客觀的隨機性」，而是「觀察者不知道事件的結果」而已，只是「觀察者」知識狀態中尚未包含這一事件的結果。但是在這種情況下，觀察者又試圖通過已經觀察到的「證據」來推斷這一事件的結果，因此只能靠猜。貝葉斯概率論就想構建一套比較完備的框架用來描述最能服務於理性推斷這一目的的「猜的過程」。因此，在貝葉斯框架下，同一件事情對於知情者而言就是「確定事件」，對於不知情者而言就是「隨機事件」，隨機性並不源於事件本身是否發生，而只是描述觀察者對該事件的知識狀態。）。簡單地說：

頻率學方法假設事件的概率是有一個值的，可以用頻率去估計概率；而貝葉斯的想法是事件本身是隨機，我們有一個先驗認識，接著根據不斷的根據已知的資料修改我們的先驗認識。
1）先驗認識，後驗概率，似然函式：在觀察到資料之前，我們有⼀些關於引數w的假設，這以先驗概率p(w)的形式給出。能夠通過後驗概率p(w | D)，在觀測到D之後估計w的不確定性。p(D | w)由觀測資料集D來估計，可以被看成引數向量w的函式，被稱為似然函式（likelihood function）。它表達了在不同的引數向量w下，觀測資料出現的可能性的⼤⼩。
2）似然函式p(D | w)都起著重要的作⽤。然⽽，在兩種觀點中，使⽤的⽅式有著本質的不同。在頻率學家的觀點中，w被認為是⼀個固定的引數，它的值由某種形式的“估計”來確定，這個估計的誤差通過考察可能的資料集D的概率分佈來得到。頻率學家⼴泛使⽤的⼀個估計是最⼤似然（maximum likelihood）估計，其中w的值是使似然函式p(D | w)達到最⼤值的w值。這對應於選擇使觀察到的資料集出現概率最⼤的w的值。在機器學習的⽂獻中，似然函式的負對數被叫做誤差函式（error function）。由於負對數是單調遞減的函式，最⼤化似然函式等價於最⼩化誤差函式。相反，從貝葉斯的觀點來看，只有⼀個數據集D（即實際觀測到的資料集），引數的不確定性通過w的概率分佈來表達。

4，接著介紹了高斯分佈：
主要介紹高斯分佈的定義，和高斯分佈的似然函式，並通過對似然函式的極大對引數進行估計（極大似然估計）-這是頻率學派的思想。

5，接著分別充頻率學派和貝葉斯學派進行曲線擬合：
頻率學派：根據極大似然估計進行擬合，等價於最小化損失數
貝葉斯學派：先給出一個引數的先驗認識，引數關於資料的後驗概率最大化建模，w的後驗概率正⽐於先驗分佈和似然函式的乘積。最⼤化後驗概率等價於最⼩化正則化的平⽅和誤差函式

（接著的模型選擇和維度災難就是我們一般的理解）

（三）決策論
1，決策論與概率論，模式識別的關係：概率論是如何提供⼀個⾃始⾄終的數學框架來量化和計算不確定性。當決策論與概率論結合的時候，在涉及到不確定性的情況下做出最優的決策，這在模式識別中經常遇到。
（決策論的觀點：把p(Ck)稱為類Ck的先驗概率，把p(Ck | x)稱為對應的後驗概率。因此p(C1)表⽰在我們拍X光之前，⼀個⼈患癌症的概率。類似地，p(C1 | x)表⽰使⽤X光中包含的資訊通過貝葉斯定理修改之後的對應的後驗概率。⽬標是最⼩化把x分到錯誤類別中的可能性，那麼根據直覺，我們要選擇有最⼤後驗概率的類別）

2，最小化錯誤分類率：⽬標很簡單，即儘可能少地作出錯誤分類。可以這樣表述：如果把每個x分配到後驗概率p(Ck | x)最⼤的類別中，那麼我們分類錯誤的概率就會最⼩。（這就和概率論中後驗概率最大化建模相互一致）

3，最小化期望損失：損失函式也被稱為代價函式（cost function），是對於所有可能的決策或者動作可能產⽣的損失的⼀種整體的度量。我們的⽬標是最⼩化整體的損失。（這是對最小錯誤分類率的加強版，即是：對錯誤分類造成的損失進行度量）

4，拒絕選項：對很難做出決策的項處理

5，對分類的決策論觀點：把分類問題劃分成了兩個階段：推斷（inference）階段和決策（decision）階段。在推斷階段，我們使⽤訓練資料學習p(Ck | x)的模型。在接下來的決策階段，我們使⽤這些後驗概率來進⾏最優的分類。另⼀種可能的⽅法是，同時解決兩個問題，即簡單地學習⼀個函式，將輸⼊x直接對映為決策。這樣的函式被稱為判別函式（discriminant function）（對應的有三種方式以及對比）

6，迴歸的決策論觀點：最小化損失函式進行擬合（同樣也有三種方法）

（四）資訊理論
1，資訊理論與決策論、概率論的關係：資訊理論是對資訊量的度量，資訊量有概率來決定；同時資訊量的大小又與決策有關。

2，資訊量的度量以及平均資訊量熵的定義。
1）熵和最短編碼長度的這種關係是⼀種普遍的情形。⽆噪聲編碼定理表明，熵是傳輸⼀個隨機變數狀態值所需的⽐特位的下界。
2）定義了連續變數的資訊熵（微分熵），以及條件熵。
3）離散分佈的情況下，我們看到最⼤熵對應於變數的所有可能狀態的均勻分佈。考慮連續變數的最⼤熵。最⼤化微分熵的分佈是⾼斯分佈。
4），條件熵滿⾜下⾯的關係：H[x, y] = H[y | x] + H[x]

3，分佈p(x)和分佈q(x)之間的相對熵定義，我們可以把Kullback-Leibler散度看做兩個分佈p(x)和q(x)之間不相似程度的度量。
（我們想要對p(x)建模。我們可以試著使⽤⼀些引數分佈q(x | θ)來近似這個分佈。q(x | θ)由可調節的引數θ控制（例如⼀個多元⾼斯分佈）。⼀種確定θ的⽅式是最⼩化p(x)和q(x | θ)之間關於θ的Kullback-Leibler散度。同時，最⼩化Kullback-Leibler散度等價於最⼤化似然函式。）

4，變數x和變數y之間的互資訊的定義：聯合概率分佈與邊緣概率分佈乘積之間的Kullback-Leibler散度。
（互資訊和條件熵之間的關係為：I[x, y] = H[x] − H[x | y] = H[y] − H[y | x] ：因此我們可以把互資訊看成由於知道y值⽽造成的x的不確定性的減⼩）