線性高斯系統

在線性高斯系統中，運動方程、觀測方程是線性的，且兩個噪聲項服從零均值的高斯分布。這是最簡單的情況。簡單在哪裏呢？主要是因為高斯分布經過線性變換之後仍為高斯分布。而對於一個高斯分布，只要計算出它的一階和二階矩，就可以描述它（高斯分布只有兩個參數）。
　　線性系統形式如下：

表示的後驗概率，用表示它的先驗概率。因為系統是線性的，噪聲是高斯的，所以狀態也服從高斯分布，需要計算它的均值和協方差矩陣。記第時刻的狀態服從：

（其中過程可以參考貝葉斯法則-最大似然估計）

現在的問題是如何求解這個最大化問題。對於高斯分布，最大化問題可以變成最小化它的負對數。當我對一個高斯分布取負對數時，它的指數項變成了一個二次項，而前面的因子則變為一個無關的常數項，可以略掉（這部分我不敲了，有疑問的同學可以問）。於是，定義以下形式的最小化函數：

寫成矩陣的形式，類似最小二乘的問題：

　　於是令它的導數為零，得到：

　　讀者會問，這個問題和卡爾曼濾波有什麽問題呢？事實上，卡爾曼濾波就是遞推地求解上式的過程。所謂遞推，就是只用來計算。對(*)進行Cholesky分解，就可以推出卡爾曼濾波器。只把卡爾曼的結論寫一下：

另一方面，能否直接求解(*)式，得到呢？答案是可以的，而且這就是優化方法（batch optimization）：將所有的狀態放在一個向量裏，進行求解。與卡爾曼濾波不同的是，在估計前面時刻的狀態（如）時，會用到後面時刻的信息（等）。從這點來說，優化方法和卡爾曼處理信息的方式是相當不同的。

1. 即使是高斯分布，經過一個非線性變換後也不是高斯分布。EKF只計算均值與協方差，是在用高斯近似這個非線性變換後的結果。（實際中這個近似可能很差）。
2. 系統本身線性化過程中，丟掉了高階項。
3. 線性化的工作點往往不是輸入狀態真實的均值，而是一個估計的均值。於是，在這個工作點下計算的，也不是最好的。
4. 在估計非線性輸出的均值時，EKF算的是的形式。這個結果幾乎不會是輸出分布的真正期望值。協方差也是同理。

那麽，怎麽克服以上的缺點呢？途徑很多，主要看我們想不想維持EKF的假設。如果我們比較乖，希望維持高斯分布假設，可以這樣子改：

1. 為了克服第3條工作點的問題，我們以EKF估計的結果為工作點，重新計算一遍EKF，直到這個工作點變化夠小，為叠代EKF（Iterated EKF, IEKF）。
2. 為了克服第4條，我們除了計算，再計算其他幾個精心挑選的采樣點，然後用這幾個點估計輸出的高斯分布。是為Sigma Point KF（SPKF，或UKF）。

如果不那麽乖，可以說：我們不要高斯分布假設，憑什麽要用高斯去近似一個長得根本不高斯的分布呢？於是問題變為，丟掉高斯假設後，怎麽描述輸出函數的分布就成了一個問題。一種比較暴力的方式是：用足夠多的采樣點，來表達輸出的分布。這種蒙特卡洛的方式，也就是粒子濾波（PF）的思路。
　　如果再進一步，可以丟棄濾波器思路，說：為什麽要用前一個時刻的值來估計下一個時刻呢？我們可以把所有狀態看成變量，把運動方程和觀測方程看成變量間的約束，構造誤差函數，然後最小化這個誤差的二次型。這樣就會得到非線性優化的方法，在SLAM裏就走向圖優化那條路上去了。不過，非線性優化也需要對誤差函數不斷地求梯度，並根據梯度方向叠代，因而局部線性化是不可避免的。
　　可以看到，在這個過程中，我們逐漸放寬了假設。