光流法學習
光流估計就是指利用時間上相鄰的兩幀影象,得到點的運動。滿足以下幾點假設:
- 前後兩幀點的位移不大(泰勒展開)
- 外界光強保持恆定。
- 空間相關性,每個點的運動和他們的鄰居相似(連續函式,泰勒展開)
在相鄰的兩幀影象中,點(x,y)發生了位移(u,v),那麼移動前後兩點的亮度應該是相等的。如下:
從這個式子出發,我們將其利用Taylor展開做一階線性近似。其中Ix, Iy, It分別是Image對這幾個變數的偏導數。
上面兩式聯立,可以得到,
上式中,
上面就是光流估計的基本思想。上述式子雖然給出了光流估計的思路,但是還是沒有辦法解出位移量。Lucas-Kanade方法是一種具體的求解方法。L-K方法依據相鄰畫素之間的位移相似的假設,通過一個觀察視窗,將視窗內的畫素點的位移看做是相同的,建立了一個超定方程,使用最小二乘法進行求解。下面是觀察視窗為
使用最小二乘法求解,可以得到如下的式子,求和號代表是對視窗內的每一個畫素點求和。
上式即是L-K方法求解光流估計問題的方程。