1.光流

光流的概念是Gibson在1950年首先提出來的。它是空間運動物體在觀察成像平面上的畫素運動的瞬時速度，是利用影象序列中畫素在時間域上的變化以及相鄰幀之間的相關性來找到上一幀跟當前幀之間存在的對應關係，從而計算出相鄰幀之間物體的運動資訊的一種方法。一般而言，光流是由於場景中前景目標本身的移動、相機的運動，或者兩者的共同運動所產生的。其計算方法可以分為三類：
（1）基於區域或者基於特徵的匹配方法；
（2）基於頻域的方法；
（3）基於梯度的方法；
光流基於光度不變假設，具體來說分成三個假設
（1）亮度恆定，前後幀觀測到的對應點的灰度值一樣。
（2）時間連續或者運動位移小。
（3）空間一致性：鄰近點有相似運動，同一子影象的畫素點具有相同的運動。
KLT是一種非常知名的光流方法。
公式參見參考1(待編輯)
KLT對於影象中的目標，並不是像SLAM直接法那樣在目標框和跟蹤框內的所有的點的視窗W中都求取偏移量，而是選擇一些特徵角點作為跟蹤點，比如SIFT、SURF、FAST、SUSAN、HARRIS等，同時在這裡shi-tomasi提出了一種Good Features的角點。他們認為，式中的對稱矩陣Z包含了噪聲和良好條件，當矩陣Z的兩個特徵值較小時，意味著以該點為中心W為視窗內是平坦的；一大一小的兩個特徵值，對應無方向的紋理特徵；兩個較大的特徵值代表了當前點是角點或者椒鹽紋理。所以，當兩個特徵值大於一定閾值時，選擇這個點作為角點。