周圍很多朋友開始做vio了，之前在知乎上也和胖爺討論過這個問題，本文主要來自於知乎的討論。

如有問題,請及時反饋給我,部落格會持續更新。

1.基本概述與分類

       按照Davide Scaramuzza的分類方法，首先分成filter-based和optimization-based的兩個大類，這也和一般SLAM系統的分類方法類似。

       按照是否把影象特徵資訊加入狀態向量來進行分類，可以分為鬆耦合(loosely-coupled，下面的losely是筆誤)和緊耦合(tightly-coupled)。

       這是兩種獨立的分類方法，首先看是基於濾波還是優化的，然後進一步根據狀態向量中是否加入了影象的特徵資訊來判斷鬆緊耦合。

        VIO主要嘗試的是融合Viusal和IMU的資訊，因此後面的論述中也就主要考慮這兩種資料。

2.Filter-based

利用濾波的方法進行多感測器的資料融合是一個很正常的套路。

按照是否把影象特徵資訊加入特徵向量來進行分類，可以分為緊耦合和鬆耦合。

2.1緊耦合

緊耦合需要把影象feature進入到特徵向量去，因此整個系統狀態向量的維數會非常高，因此也就需要很高的計算量。比較經典的演算法是MSCKF，ROVIO。

2.2緊耦合舉例-msckf

以比較經典的msckf為例，據說這也是谷歌tango裡面的演算法，這要感覺Mingyang Li師兄在MSCKF的不懈工作。

在傳統的EKF-SLAM框架中，特徵點的資訊會加入到特徵向量和協方差矩陣裡,這種方法的缺點是特徵點的資訊會給一個初始深度和初始協方差，如果不正確的話，極容易導致後面不收斂，出現inconsistent的情況。

Msckf維護一個pose的FIFO，按照時間順序排列，可以稱為滑動視窗，一個特徵點在滑動視窗的幾個位姿都被觀察到的話，就會在這幾個位姿間建立約束，從而進行KF的更新。

2.3鬆耦合

而鬆耦合的方法則簡單的多，避免把影象的feature加入狀態向量，而是把影象當成一個black box,計算vo處理之後才和imu資料進行融合。

Ethz的Stephen Weiss在這方面做了很多的研究，他的ssf和msf都是這方面比較優秀的開源演算法，有興趣的讀者可以參考他的博士論文。

2.4鬆耦合舉例-ssf

濾波器的狀態向量是24維，如下，相較於緊耦合的方法會精簡很多。

Ssf_core主要處理state的資料，裡面有預測和更新兩個過程。

Ssf_update則處理另外一個感測器的資料，主要完成測量的過程。

3.optimization-based

       隨著研究的不斷進步和計算平臺效能的不斷提升，optimization-based的方法在slam得到應用，很快也就在VIO中得到應用，緊耦合中比較經典的是okvis，鬆耦合的工作不多。

3.1鬆耦合舉例

        這方面的工作不多，而且效果顯然是沒有緊耦合好的。大佬Gabe Sibley在iros2016的一篇文章《Inertial Aided Dense & Semi-Dense Methods for Robust Direct Visual Odometry》提到了這個方法。簡單來說就是把vo計算產生的位姿變換新增到imu的優化框架裡面去。

3.2緊耦合舉例-okvis

       上圖左邊是純視覺的odemorty,右邊是視覺IMU融合的odemorty結構， 這個核心在於Frame通過IMU進行了聯合， 但是IMU自身測量有一個隨機遊走的偏置， 所以每一次測量又通過這個偏置聯合在了一起， 形成了右邊那個結構，對於這個新的結構， 我們需要建立一個統一的損失函式進行聯合優化