視訊生成(Generating Videos with Scene Dynamics)實踐
阿新 • • 發佈:2019-02-03
視訊生成與視訊識別是視訊分析的兩大任務,前者側重於對下一幀的預測,而前者則側重於視訊內容的理解。由於視訊是由一系列的視訊幀組成的,那麼如果有大量的視訊資料,通過分析視訊中動態場景的變化情況,就可以合成出一些小的動態場景視訊。這也是論文Generating Videos with Scene Dynamics(http://carlvondrick.com/tinyvideo/paper.pdf)的主要思想。
1、論文原理
The primary contribution of this paper is showing how to leverage large amounts of unlabeled video in order to acquire priors about scene dynamics. The secondary contribution is the development of a generative model for video.
從論文中可以看出,論文主要有兩大貢獻:
(1)從海量的未標記視訊資料獲取動態場景的先驗資訊;
(2)提出一種視訊的生成模型。
視訊生成的原理框架如下圖所示:
由於視訊通常由靜態的背景和動態的前景構成。論文根據這一常識設計了雙路的生成模型分別用來生成靜態背景 Background 和前景動態Foreground。其合成方式見foregroud, mask 和background的公式。其合成過程的視覺化如下圖所示:
2、論文實踐
發現公開程式碼非常簡單,很快就測試通過,其截圖如下所示:
結果如下所示:(沙灘上視訊生成)