FlowNet: Learning Optical Flow with Convolutional Networks
FlowNet: Learning Optical Flow with Convolutional Networks
2015 IEEE International Conference on Computer Vision
outline
•Introduction
•RelatedWork
•Dataset Schedules
•Stacking Networks
•Small Displacements
•Experiments
•Conclusions
分為以上6個方面介紹這篇文章，這也是這篇文章的目錄，這篇文章是發表在2015CVPR國際會議上的文章
Abstract
首先摘要告訴我們這篇文章做了什麼，主要有四點
•construct CNNs which are capable of solving the optical flow estimation problem as a supervised learning task
•We propose and compare two architectures FNS FNC
•we generate a large synthetic Flying Chairs dataset.
•frame rates of 5 to 10 fps.
1.建立了一個CNN框架，能夠以監督學習任務來解決光流估計。
2.提出比較了兩種架構flownetsimple與flonetcor
3.產生了飛行椅子資料集
4.能夠達到10幀每秒的速度
Optical flow or optic flow is the pattern of apparent of objects, surfaces, and edges in a visual scene caused by the between an observer and a scene
and have developed as a major aspect of optical flow research.
光流是什麼呢，光流是關於視域中的物體運動檢測中的概念。用來描述相對於觀察者的運動所造成的觀測目標、表面或邊緣的運動
運動估計和視訊壓縮成為了光流的主要研究方面
1. Introduction
在介紹部分，作者簡要介紹了一下為什麼要提出這兩種架構以及產生資料集的原因。
•optical flow estimation needs precise per-pixel localization
•requires finding correspondences between two input images.
•we additionally developed an architecture with a correlation layer that explicitly provides matching capabilities. This architecture is trained end-to-end.
因為光流預測需要精確的畫素定位，並且需要找到兩幅輸入影象之間的聯絡,所以作者提出了一個結構擁有相關層並且是端對端的結構來提供匹配能力。作者想要利用卷積神經網路的強大抽象能力，幫助卷積神經網路進行匹配，令人驚訝的是，以這種方式幫助網路是不必要的，甚至原始網路也可以學習以具有競爭力的準確度來預測光流。
2. RelatedWork
Optical Flow.
自從Horn和Horn的工作以來，變分方法(Variation approaches)主導了光流估計,已經有很多改進，最近重點是大位移、並且組合匹配也應用到了變分法中。[30]稱為EpicFlow的連續工作更加強調稀疏匹配的質量，而[35]的匹配只是在尊重影象邊界的同時內插到密集流場。deepflow工作與作者工作有關使用了稀疏卷積和最大池化，然而作者沒有執行學習引數而是手工設定。已經進行了使用神經網路模型在視訊幀之間進行無監督學習視差或運動的工作這些方法通常使用乘法互動來模擬一對影象之間的關係。
Convolutional Networks.
主要講了卷積神經網路的應用，CNN的最近應用包括語義分割(segmentation)[11,15,17,28]，深度預測(depth prediction)[10]，關鍵點預測(keypoint prediction)[17]和邊緣檢測(edge detection)[13]。 這些任務類似於光流估計，因為它們涉及每畫素預測。