光流(Optical Flow)介紹

1. 光流原理

光流分為稀疏光流和稠密光流，稀疏光流就是隻計算圖片中特定點的光流，而稠密光流則是每個畫素都要計算光流。
簡單地說就是在連續圖片序列中，從第t幀到第t+1幀，每個畫素的運動速度和運動方向。
比如第t幀的時候A點的位置是(x1, y1)，那麼我們在第t+1幀的時候再找到A點，假如它的位置是(x2,y2)，即It(x1,y1)=It+1(x2,y2)=It+1(x1+ux,x1+uy)$I_t(x_1,y_1)=I_{t+1}(x_2,y_2)=I_{t+1}(x_1+u_x,x_1+u_y)$, 那麼我們t->t+1的光流即為:(ux,vy)$(u_x,v_y)$。所以給定一對圖片(t -> t-1)，就可以計算出這對圖片之間的光流圖，大小和兩幀的圖片相同。
有了t->t+1的光流，我們可以利用t+1幀的圖片和這個光流將t+1幀warp到t幀，得到t幀的圖片。怎麼計算呢？對於第t幀上的每個畫素點

2. 光流視覺化

光流場是圖片中每個畫素都有一個x方向和y方向的位移，所以在上面那些光流計算結束後得到的光流flow是個和原來影象大小相等的雙通道影象。
不同顏色表示不同的運動方向，深淺表示運動的速度。

講x和y轉為極座標，夾角(actan2(y,x))代表方向，極徑(x和y的平方和開根號)代表位移大小，剛好用一下hsv的影象表示。上圖的光流可以看到，紅色的人在往右邊動，那個藍色的東西在往左上動

def viz_flow(flow):
    # 色調H：用角度度量，取值範圍為0°～360°，從紅色開始按逆時針方向計算，紅色為0°，綠色為120°,藍色為240°
    # 飽和度S：取值範圍為0.0～1.0
 

    # 亮度V：取值範圍為0.0(黑色)～1.0(白色)
    h, w = flow.shape[:2]
    hsv = np.zeros((h, w, 3), np.uint8)
    mag, ang = cv2.cartToPolar(flow[...,0], flow[...,1])
    hsv[...,0] = ang*180/np.pi/2
    hsv[...,1] = cv2.normalize(mag,None,0,255,cv2.NORM_MINMAX)
    # flownet是將V賦值為255, 此函式遵循flownet，飽和度S代表畫素位移的大小，亮度都為最大，便於觀看
    # 也有的光流視覺化講s賦值為255，亮度代表畫素位移的大小，整個圖片會很暗，很少這樣用
    hsv[...,2] = 255
    bgr = cv2.cvtColor(hsv,cv2.COLOR_HSV2BGR)
    return bgr

論文主要貢獻

1. 首次將CNN運用到光流預測上，設計了兩種網路結構
2. 提出了一個Flying chairs的資料集，並利用這個虛擬合成的資料集訓練網路，得到的模型能很好的泛化到實際圖片中，而且效果達到了state of art

網路結構

由於卷積神經網路中一層有一層pooling後特徵圖越來越小，而最終預測的光流是要和原圖大小相同，所以還需要放大(unconv)，所以網路整體上分為兩個部分，一個縮小還有一個放大

縮小(卷積)部分

1. FlowNetSimple

   第一種縮小(卷積)方案是最樸素的方法的，就是將這一對圖片的通道concat起來，網路結構圖中可以看到輸入的data層的channel是6.

   

2. FlowNetCorr

   第二中方案是這一對圖片分開處理，分別進入卷積網路，得到各自的特徵圖，然後再找到它們特徵圖之間的聯絡。
   兩個特徵圖分別為f1,f2: w * h * c, 然後corr層比較這兩個特徵圖各個塊。比如以x1為中心的一塊和以x2為中心的一塊，它們之間的聯絡用以下公式計算，塊長為K:= 2k+1，大小為 K*K。

該公式和卷積的操作是一樣的，以x1為中心的patch和以x2為中心的patch，對應位置相乘然後相加，這就是卷積核在圖片上的操作啊，只是卷積網路裡是和filter之間進行卷積，且它的weight是不需訓練或不可訓練。計算這兩塊之間的聯絡計算複雜度是 c * K * K，而f1上每個塊都要與f2上所有塊計算聯絡，f1上有w * h個塊(每個畫素點都可以做一個塊的中心點)，f2上也有w * h個塊，所有整個計算複雜度是c * K * K * ( w * h) * ( w * h)，這裡是假設每個塊在下一張圖上時，可以移動任何位置。但是這樣計算複雜度太高了，所以我們可以約束位移範圍為d(上下左右移動d)，就是每個塊只和它附近D: 2d+1的位置塊計算聯絡，而且以x1為中心的塊去和它附近D範圍計算聯絡時，還可以加上步長，就是不必和D範圍的每個點都進行計算，可以跳著。
我們先假設沒有步長，這樣每次和D範圍內一個點計算聯絡就得到一個 w * h * 1的 特徵圖，然後和D內的所有點即D * D個點，得到 w * h * D^2個特徵圖

看圖中有個441+32=473地方，論文實驗就是這是位移最大值為d=10，所以D=21, 21*21=441，然後32個channel是1x1卷積後得到，這裡的原因可能是用1x1減少了一下channel(256->32)，這裡還有個不明白的地是為什麼只把第t幀的32個channel附到441後面，而t+1幀則沒有。還有就是這裡的sqrt是什麼沒有看到解釋，是直接對得到的441個channel的數值開根號嗎。

放大部分

這裡的放大和fcn十分類似，一邊向後unconv，一邊直接在小的特徵圖上預測，然後把結果雙線性插值然後concat在unconv後的特徵圖上，然後接著往後傳，重複四次後，得到的預測光流解析度依然是輸入的1/4，再重複之前的操作已沒有太多提升，所以可以直接雙線性插值得到和輸入相同解析度的光流預測圖。
在最後的雙線性插值放大上還有個可選方案就是variational approach參考:Large displacement optical flow: de-
scriptor matching in variational motion estimation

FlowNetS和FlowNetC的對比

其中：EPE是一種對光流預測錯誤率的一種評估方式。
指所有畫素點的gound truth和預測出來的光流之間差別距離（歐氏距離）的平均值，越低越好。

論文上說FlowNetS能和FlowNetC媲美，甚至有些資料集要好於FlowNetC，但是在實際資料集上FlowNetC應該更好，因為FlowNetC在flyingchair和sintel clean資料集的表現要好於FlowNetS，注意到sintel clean是沒有運動blur和fog特效等的，和flyingchair資料集比較類似，這意味著FlowNetC網路能更好的學習訓練資料集，更加過擬合over-fitting
所以如果使用更好的訓練資料集，FlowNetC網路會更有優勢。

參考和引用了以下部落格，特別感謝！