CNN光流計算--FlowNet: Learning Optical Flow with Convolutional Networks
阿新 • • 發佈:2019-01-09
本文使用CNN網路來計算光流,實現端對端訓練,自己製作了個訓練資料庫 Flying Chairs
- Network Architectures
因為最後的結果需要得到畫素級別的,所以需要對CNN網路得到卷積特徵圖進行方法
光流計算的輸入是一個影象對,這裡我們嘗試了兩個網路結構 FlowNetSimple (top) and FlowNetCorr (bottom)
FlowNetSimple 直接將兩個影象放到一起輸入網路
FlowNetCorr 首先分別處理單個影象,然後再用一個 correlation layer 將兩個影象的特徵結合起來
特徵圖放大網路結構 Expanding part
經過 Expanding part 處理,CNN 特徵圖放大了4倍,和輸入影象尺寸相比縮小了4倍,再放大4倍達到輸入影象尺寸有兩種方法:
1)FCN中的 bilinear upsampling
2)Variational refinement
4.1. Existing Datasets
合成的資料庫Flying Chairs
- Experiments
FlowNet2.0 就比較厲害了!