2. 程式人生 > >論文學習:Learning to Generate Time-Lapse Videos Using Multi-StageDynamic Generative Adversarial Networks

論文學習:Learning to Generate Time-Lapse Videos Using Multi-StageDynamic Generative Adversarial Networks

阿新 • • 發佈：2018-11-08

Welcome To My Blog
這篇論文收錄於KDD2018,有關視訊生成的,論文有個專案主頁,題目翻譯過來大致是:使用多階段動態生成對抗網路學習生成time-lapse(延時)視訊.
多階段具體來說是兩階段,
1. 第一階段(Base-Net): 注重每一幀內容的真實性
2. 第二階段(Refine-Net): 注重幀與幀之間物體的運動

下圖是模型整體框架,叫做MD-GAN
MD-GAN由base-net和refine-net構成
1.png

Base-Net

Generator,G1

G1採用的是encoder-decoder這種結構,具體是採用了多個3D卷積層-反捲積層對;同時還採用了skip connection(構成了U型架構)的策略,3D卷積和skip connection 對視訊內容進行了很好的建模.
skip connections用於連線與encoder對應的decoder的feature maps,從而使decoder再次利用encoder的資訊,減少了資訊損失.
skip connection是通過identity mapping(恆等對映)實現的

Discriminator,D1

D1採用的是G1中encoder的網路,除了最後一層用的是sigmoid啟用函式而不是ReLU了

損失函式

Lcon是畫素級別的L1距離,L1可以使畫面更加sharpness
7.png

作用

base-net保證內容的sharpness

Refine-Net

Generator,G2

G2的網路和G1很像,只不過G2中移除了部分skip connections,具體的是溢位了 “conv1” and “deconv6”, “conv2” and “deconv5”之間的skip connection
因為使用G1中那麼多的skip connection對視訊的動態性不能很好的建模

Discriminator,D2

D2和D1的結構一樣,只不過有3個D2,分別是Y1,Y2,Y對應的D2
D2的重點是Gram matrix和ranking loss

Gram matrix 建模幀與幀之間物體運動的動態性

在refine-net中,作者引入Gram matrix作為運動特徵的表示(motion feature representation),用來輔助G2學到幀與幀之間的動態特性
具體怎麼用?
1. 首先從D2中提取特徵,具體的就是以D2的某一層的輸出作為特徵,論文中說的是:features of the first and third convolutional layers (after the ReLU layer) of discriminator D2,也就是第一個和第三個卷積層+ReLU啟用後的輸出作為特徵.
2. 接下來用這些特徵去計算Gram矩陣,這樣做的好處是加入了豐富的時間資訊,而動作是隨著時間進行的,所以也就是加入了訓練集視訊片段的動作資訊.
Gram矩陣的計算如論文所示,這其實是求提取自D2中的特徵之間的協方差矩陣,計算得到的Gram矩陣將會用於ranking loss.
2.png

ranking loss

ranking loss是論文的一大特點,計算得到的Gram矩陣將會用於ranking loss.
D2的結構和D1一樣,針對D2中某一層的特徵,ranking loss計算公式如下所示,這個公式引用自ContrastingLoss-Generative Semantic Manipulation with Contrasting這篇論文,原論文用的是l2正規化,這裡用的是l1正規化,也許是因為l1正規化對於視訊生成任務更合適,確切地說是因為l1正規化會提升生成視訊的sharpness(清晰度).進一步觀察公式,如果ranking loss小,說明:g(Y2;l)接近g(Y;l),同時g(Y2;l)遠離g(Y1;l),換句話說就是生成的視訊Y2更接近ground truth Y,同時比起base-net的輸出Y1,refine-net的Y2有了進一步的提升(動作上的提升)
3.png

損失函式

最終的ranking loss是把所有層的結果加起來(論文中是用了D2的第一層和第三層卷積層輸出)
4.png
注意到三個D2(Y,Y1,Y2)組成的ranking loss充當Discriminator的一部分

refine-net的損失函式,Lcon是畫素級別的L1距離,L1可以是畫面更加sharpness
6.png

演算法流程

最大化D,最小化G
5.png

作用

在保證視訊內容的清晰度(sharpness)的基礎上,提升畫面的動態性

總結

  1. 論文提出了MD-GAN,MD-GAN有兩個網路:base-net和refine-net
  2. 使用base-net保證內容的sharpness
  3. 使用refine-net提升畫面的動態性
  4. Generator中的3D卷積與skip connection(通過恆等對映實現)算是亮點
  5. D2中的Gram matrix和ranking loss算是重點

相關推薦

論文學習:Learning to Generate Time-Lapse Videos Using Multi-StageDynamic Generative Adversarial Networks

Welcome To My Blog 這篇論文收錄於KDD2018,有關視訊生成的,論文有個專案主頁,題目翻譯過來大致是:使用多階段動態生成對抗網路學習生成time-lapse(延時)視訊. 多階段具體來說是兩階段, 1. 第一階段(Base-Net): 注重每一幀內容的真實性

論文閱讀筆記二十二：Learning to Segment Instances in Videos with Spatial Propagation Network（CVPR-20017）

論文源址：https://arxiv.org/abs/1709.04609 摘要       該文提出了基於深度學習的例項分割框架，主要分為三步，（1）訓練一個基於ResNet-101的通用模型，用於分割影象中的前景和背景。（2）將通用模型進行微調成為一個例項分割模型，藉

論文：Learning to Segment everything閱讀筆記

Learning to Segment everything 目錄 Learning to Segment everything 1 概述 2 分割一切 3 實驗 4 大規模例項分割 1 概述 例項分割（instance segmentatio

論文<Learning to Promote Saliency Detectors>閱讀

Learning to Promote Saliency Detectors 原本放在了思否上, 但是公式支援不好, csdn廣告太多, 在部落格園/掘金上發一下 https://github.com/lartpang/Machine-Deep-Learning 縮寫標註: SD: Sa

論文分享--- >Learning to Rank: From Pairwise Approach to Listwise Approach

本篇博文分享和總結下論文LearningtoRank:FromPairwiseApproachtoListwiseApproachLearning\ to\ Rank: From\ Pairwise\ Approach\ to\ Listwise\ Approa

【翻譯論文】Learning to Estimate 3D Human Pose and Shape from a Single Color Image （CVPR 2018）

因為科研的需要，最近閱讀了這篇文章，裡邊的一些術語儘量的翻譯的專業一點，如有不恰當的地方歡迎個位評論指正，還有就是如有涉及到版權的問題，請及時聯絡本人，本人會立馬刪除 該工作解決了從單個彩色影象估計全身3D人體姿勢和形狀的問題。這是一項普遍存在基於迭代優化的解決方案的任務，

Machine Learning is Fun Part 7: Abusing Generative Adversarial Networks to Make 8

The goal of Generative ModelsSo why exactly are AI researchers building complex systems to generate slightly wonky-looking pictures of bedrooms?The idea is

【論文筆記】An Intelligent Fault Diagnosis Method Using: Multivariate Anomaly Detection for Time Series Data with Generative Adversarial Networks

ivar 單位矩陣 作用 一次 一個 http example tps 計算 論文來源：IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS 2016年的文章，SCI1區，提出了兩階段的算法。第一個階段使用Sparse filtering

論文解讀：DeLiGAN: Generative Adversarial Networks for Diverse and Limited Data

前言：DeLiGAN是計算機視覺頂會CVPR2017發表的一篇論文，本文將結合Python原始碼學習DeLiGAN中的核心內容。DeLiGAN最大的貢獻就是將生成對抗網路（GANs）的輸入潛空間編碼為混合模型（高斯混合模型），從而使得生成對抗網路（GANs）在數量有限但具有多樣性的訓練資料上表現出較

Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks 論文閱讀

一、概述 本文提出了一個多工的人臉檢測模型，可以同時進行人臉檢測和人臉特徵點提取。這個框架主要由三個CNN級聯的方式實現。 stage1：通過一個淺的CNN來產生一些候選框 stage2：通過一個較複雜的CNN，對候選框進一步刪選得到更精細的區域 stage3：通過一個強大

論文筆記：Spectral Normalization for Generative Adversarial Networks [ICLR2018 oral]

Spectral Normalization for Generative Adversarial Networks 原文連結：傳送門 一篇純數學類文章，有興趣的時候再看！ Emma CUH

GaitGAN: Invariant Gait Feature Extraction Using Generative Adversarial Networks論文翻譯以及理解

GaitGAN: Invariant Gait Feature Extraction Using Generative Adversarial Networks論文翻譯以及理解 格式：一段英文，一段中文 2. Proposed method To reduce the eff

【Learning Notes】生成式對抗網路（Generative Adversarial Networks，GAN）

在學習 Variational Auto-Encoder時，同時注意到了 GAN 研究的火熱。但當時覺得 GAN 非常不成熟（訓練不穩定，依賴各種說不清的 tricks；沒有有效的監控指標，需要大量的人工判斷，因此難以擴展到圖像之外的高維數據）。在讀了 Good

【論文筆記】Generative Adversarial Networks

        該文提出一種新穎的對抗式生成模型架構，這種框架同時訓練兩個模型，一個是生成模型G，用來習得資料的真實分佈，一個是判別模型D，用來判斷一個樣本是否是真實樣本。G的訓練過程就是儘可能地讓D犯錯誤，該網路最後的目標就是讓G通過輸入的噪聲重構出訓練資料的分佈，並且讓D

GANs學習系列(2)：cGANs:Conditional Generative Adversarial Networks

結論by ym: 轉完這篇，理解一下表達一下自己的一點感想。 其實cgan潛在的道理很簡單，但是這個簡單直接的改進被證明非常有效。 簡單來說就是因為： 在生成模型中,先驗輸入噪聲p(z)和條件資訊y聯合組成了聯合隱層表徵。對抗訓練框架在隱層表徵的組成方式方面相當地靈活。 即cnn一直以來的

Self-Attention Generative Adversarial Networks 論文解讀

論文地址：https://arxiv.org/abs/1805.08318 Ian goodfellow 2018年 新作，在GAN生成中加入了attention的機制，同時將SNgan的思想引入到生成器當中。傳統gan的問題使用小的卷積核很難發現影象中的依賴關係使用大的卷積

GANs學習系列(5): 生成式對抗網路Generative Adversarial Networks

【前言】      本文首先介紹生成式模型，然後著重梳理生成式模型（Generative Models）中生成對抗網路（Generative Adversarial Network）的研究與發展。作者按照GAN主幹論文、GAN應用性論文、GAN相關論文分類整理了45篇近兩年的論文，著重梳理了主幹論文之間的聯絡

生成式對抗網路Generative Adversarial Networks(GANs)論文筆記

1. 前言 GAN(Generative Adversarial Networks)，是生成對抗網路於2014年由Ian Good fellow在他的論文提出。 在GAN被提出之後，立刻在機器學習領域得到了巨大反響，並且被科學工作者們應用在許多領域

論文筆記-Sequence to Sequence Learning with Neural Networks

map tran between work down all 9.png ever onf 大體思想和RNN encoder-decoder是一樣的，只是用來LSTM來實現。 paper提到三個important point： 1）encoder和decoder的LSTM

論文筆記-Neural Machine Translation by Jointly Learning to Align and Translate

tps idt 個人理解 att date eight default con ati 提出attention機制，用於機器翻譯。 背景：基於RNN的機器翻譯 基本思路是首先對語言x進行編碼encoder，然後解碼decoder為語言y。encoder和decoder可