2. 程式人生 > >GAN|生成對抗網路的前沿進展（論文、框架&資源）全面總結

GAN|生成對抗網路的前沿進展（論文、框架&資源）全面總結

阿新 • • 發佈：2019-01-15

成模型（GenerativeModel）是一種可以通過學習訓練樣本來產生更多類似樣本的模型。在所有生成模型當中，最具潛力的是生成對抗網路（Generative Adversarial Networks, GANs）。GANs 是非監督機器學習的一種，它的運作方式可被看做是兩個神經網路相互競爭的零和遊戲（zero-sum game）。

2014年，Ian Goodfellow等人在《GenerativeAdversarial Nets》一文中首次提出了GANs，標誌著GANs的誕生。

原文連結：https://arxiv.org/pdf/1406.2661v1.pdf

PPT連結：http://www.iangoodfellow.com/slides/2016-12-04-NIPS.pdf

原始碼連結：https://github.com/goodfeli/adversarial

視訊連結：https://www.youtube.com/watch?v=HN9NRhm9waY

本文總結了一系列關於GANs的前沿工作進展

一、最新研究論文（根據Google Scholar的引用數進行降序排列）

  1. 基於深度卷積生成對抗網絡的無監督學習（Unsupervised Representation Learning with Deep     Convolutional Generative Adversarial Networks (DCGANs)）2015

    原文鏈接：https://arxiv.org/pdf/1511.06434v2.pdf

  2. 對抗實例的解釋和利用（Explaining and Harnessing     Adversarial Examples）2014

    原文連結：https://arxiv.org/pdf/1412.6572.pdf

  3. 基於深度生成模型的半監督學習（ Semi-Supervised Learning with Deep     Generative Models ）2014

    原文鏈接：https://arxiv.org/pdf/1406.5298v2.pdf

  4. 基於拉普拉斯金字塔生成式對抗網路的深度影象生成模型（Deep Generative Image Models using a Laplacian Pyramid     of Adversarial Networks）2015

    原文鏈接：http://papers.nips.cc/paper/5773-deep-generative-image-models-using-a-laplacian-pyramid-of-adversarial-networks.pdf

  5. 訓練GANs的一些技巧（Improved Techniques for  Training GANs）2016

    原文連結：https://arxiv.org/pdf/1606.03498v1.pdf

  6. 條件生成對抗網絡（Conditional Generative     Adversarial Nets）2014

    原文連結：https://arxiv.org/pdf/1411.1784v1.pdf

  7. 生成式矩匹配網路（Generative Moment Matching Networks）2015

    原文連結：http://proceedings.mlr.press/v37/li15.pdf

  8. 超越均方誤差的深度多尺度視訊預測（Deep multi-scale video     prediction beyond mean square error）2015

    原文連結：https://arxiv.org/pdf/1511.05440.pdf

  9. 通過學習相似性度量的超畫素自編碼（Autoencoding beyond pixels using a learned similarity  metric）2015

    原文連結：https://arxiv.org/pdf/1512.09300.pdf

  10. 對抗自編碼（Adversarial     Autoencoders）2015

    原文連結：https://arxiv.org/pdf/1511.05644.pdf

  11. InfoGAN:基於資訊最大化GANs的可解釋表達學習（InfoGAN:Interpretable Representation Learning by Information Maximizing Generative     Adversarial Nets）2016

    原文連結：https://arxiv.org/pdf/1606.03657v1.pdf

  12. 上下文畫素編碼：通過修復進行特徵學習（Context     Encoders: Feature Learning by Inpainting）2016

    原文連結：http://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Pathak_Context_Encoders_Feature_CVPR_2016_paper.pdf

  13. 生成對抗網絡實現文字合成圖像（Generative     Adversarial Text to Image Synthesis）2016

    原文連結：http://proceedings.mlr.press/v48/reed16.pdf

  14. 基於畫素卷積神經網絡的條件生成圖片（Conditional   Image Generation with PixelCNN Decoders）2015

    原文連結：https://arxiv.org/pdf/1606.05328.pdf

  15. 對抗特徵學習（Adversarial Feature     Learning）2016

    原文連結：https://arxiv.org/pdf/1605.09782.pdf

  16. 結合逆自回歸流的變分推理（Improving Variational     Inference with Inverse Autoregressive Flow ）2016

    原文連結：https://papers.nips.cc/paper/6581-improving-variational-autoencoders-with-inverse-autoregressive-flow.pdf

  17. 深度學習系統對抗樣本黑盒攻擊（Practical     Black-Box Attacks against Deep Learning Systems using Adversarial Examples）2016

    原文連結：https://arxiv.org/pdf/1602.02697.pdf

  18. 參加，推斷，重複：基於生成模型的快速場景理解（Attend,     infer, repeat: Fast scene understanding with generative models）2016

    原文連結：https://arxiv.org/pdf/1603.08575.pdf

  19. f-GAN: 使用變分散度最小化訓練生成神經採樣器（f-GAN:  Training Generative Neural Samplers using Variational Divergence     Minimization ）2016

    原文連結：http://papers.nips.cc/paper/6066-tagger-deep-unsupervised-perceptual-grouping.pdf

  20. 在自然圖像流形上的生成視覺操作（Generative     Visual Manipulation on the Natural Image Manifold）2016

    原文連結：https://arxiv.org/pdf/1609.03552.pdf

  21. 通過平均差異最大優化訓練生成神經網絡（Training generative neural networks via Maximum Mean Discrepancy optimization）2015

    原文連結：https://arxiv.org/pdf/1505.03906.pdf

  22. 對抗性推斷學習（Adversarially     Learned Inference）2016

    原文連結：https://arxiv.org/pdf/1606.00704.pdf

  23. 基於循環對抗網絡的影象生成（Generating images with recurrent adversarial networks）2016

    原文連結：https://arxiv.org/pdf/1602.05110.pdf

  24. 生成對抗模仿學習(Generative Adversarial Imitation Learning）2016

    原文連結：http://papers.nips.cc/paper/6391-generative-adversarial-imitation-learning.pdf

  25. 基於3D生成對抗模型學習物體形狀的概率隱空間（Learning a Probabilistic Latent Space of Object Shapes     via 3D Generative-Adversarial Modeling）2016

    原文連結：https://arxiv.org/pdf/1610.07584.pdf

  26. 學習畫畫（Learning What     and Where to Draw）2016

    原文連結：https://arxiv.org/pdf/1610.02454v1.pdf

  27. 基於輔助分類器GANs的條件圖像合成（Conditional Image     Synthesis with Auxiliary Classifier GANs）2016

    原文連結：https://arxiv.org/pdf/1610.09585.pdf

  28. 隱生成模型的學習（Learning in Implicit     Generative Models）2016

    原文：https://arxiv.org/pdf/1610.03483.pdf

  29. VIME: 變分資訊最大化探索（VIME: Variational     Information Maximizing Exploration）2016

    原文連結：http://papers.nips.cc/paper/6591-vime-variational-information-maximizing-exploration.pdf

  30. 生成對抗網絡的展開（Unrolled     Generative Adversarial Networks）2016

    原文連結：https://arxiv.org/pdf/1611.02163.pdf

  31. 訓練生成對抗網絡的基本方法（Towards  Principled Methods for Training Generative Adversarial Networks）2017

    原文連結：https://arxiv.org/pdf/1701.04862.pdf

  32. 基於內省對抗網路的神經影象編輯（Neural Photo Editing with Introspective Adversarial   Networks）2016

    原文連結：https://arxiv.org/pdf/1609.07093.pdf

  33. 基於解碼器的生成模型的定量分析（On the   Quantitative Analysis of Decoder-Based Generative Models ）2016

    原文連結：https://arxiv.org/pdf/1611.04273.pdf

  34. 結合生成對抗網絡和Actor-Critic 方法（Connecting Generative     Adversarial Networks and Actor-Critic Methods）2016

    原文連結：https://arxiv.org/pdf/1610.01945.pdf

  35.  通過對抗網絡使用模擬和非監督圖像訓練（ Learning     from Simulated and Unsupervised Images through Adversarial Training）2016

    原文連結：https://arxiv.org/pdf/1612.07828.pdf

  36. 基於上下文RNN-GANs的抽象推理圖的生成（Contextual     RNN-GANs for Abstract Reasoning Diagram Generation）2016

    原文連結：https://arxiv.org/pdf/1609.09444.pdf

  37. 生成多對抗網絡（Generative     Multi-Adversarial Networks）2016

    原文連結：https://arxiv.org/pdf/1611.01673.pdf

  38. 生成對抗網絡組合（Ensembles of   Generative Adversarial Network）2016

    原文連結：https://arxiv.org/pdf/1612.00991.pdf

  39. 改進生成器目標的GANs(Improved  generator objectives for GANs) 2016

    原文連結：https://arxiv.org/pdf/1612.02780.pdf

  40. 生成對抗模型的隱向量精準修復（Precise     Recovery of Latent Vectors from Generative Adversarial Networks）2017

    原文連結：https://openreview.net/pdf?id=HJC88BzFl

  41. 生成混合模型（Generative     Mixture of Networks）2017

    原文連結：https://arxiv.org/pdf/1702.03307.pdf

  42. 記憶生成時空模型（Generative Temporal     Models with Memory）2017

    原文連結：https://arxiv.org/pdf/1702.04649.pdf

  43. 停止GAN暴力：生成性非對抗模型（Stopping GAN Violence: Generative Unadversarial     Networks）2017

    原文連結：https://arxiv.org/pdf/1703.02528.pdf

二、理論學習

1.訓練GANs的技巧，

參見連結：http://papers.nips.cc/paper/6124-improved-techniques-for-training-gans.pdf

2.Energy-Based GANs 以及Yann Le Cun 的相關研究

參見連結：http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

3.模式正則化GAN

參見連結：https://arxiv.org/pdf/1612.02136.pdf

三、報告

1.Ian Goodfellow的GANs報告

2.     Russ Salakhutdinov的深度生成模型

參見連結：http://www.cs.toronto.edu/~rsalakhu/talk_Montreal_2016_Salakhutdinov.pdf

四、課程/教程

1.NIPS 2016教程：生成對抗網路

參見連結：https://arxiv.org/pdf/1701.00160.pdf

2.訓練GANs的技巧和竅門

參見連結：https://github.com/soumith/ganhacks

3.OpenAI生成模型

參見連結：https://blog.openai.com/generative-models/

4.用Keras實現MNIST生成對抗模型

參見連結：https://oshearesearch.com/index.php/2016/07/01/mnist-generative-adversarial-model-in-keras/

5.用深度學習TensorFlow實現影象修復

參見連結：http://bamos.github.io/2016/08/09/deep-completion/

四、Github資源以及模型

1.深度卷積生成對抗模型（DCGAN）

參見連結：https://github.com/Newmu/dcgan_code

2.TensorFlow實現深度卷積生成對抗模型（DCGAN）

參見連結：https://github.com/carpedm20/DCGAN-tensorflow

3.Torch實現深度卷積生成對抗模型（DCGAN）

參見連結：https://github.com/soumith/dcgan.torch

4.Keras實現深度卷積生成對抗模型（DCGAN）

參見連結：https://github.com/jacobgil/keras-dcgan

5.使用神經網路生成自然影象（Facebook的Eyescream專案）

參見連結：https://github.com/facebook/eyescream

6.對抗自編碼（AdversarialAutoEncoder）

參見連結：https://github.com/musyoku/adversarial-autoencoder

7.利用ThoughtVectors 實現文字到圖像的合成

參見連結：https://github.com/paarthneekhara/text-to-image

8.對抗樣本生成器（Adversarialexample generator）

參見連結：https://github.com/e-lab/torch-toolbox/tree/master/Adversarial

9.深度生成模型的半監督學習

參見連結：https://github.com/dpkingma/nips14-ssl

10.GANs的訓練方法

參見連結：https://github.com/openai/improved-gan

11.  生成式矩匹配網路（Generative Moment Matching Networks, GMMNs）

參見連結：https://github.com/yujiali/gmmn

12.  對抗視訊生成

參見連結：https://github.com/dyelax/Adversarial_Video_Generation

13.  基於條件對抗網路的影象到影象翻譯（pix2pix）

參見連結：https://github.com/phillipi/pix2pix

14.  對抗機器學習庫Cleverhans,

參見連結：https://github.com/openai/cleverhans

五、框架以及學習庫（根據GitHub的星級排序）

1.     谷歌的TensorFlow [C++ and CUDA]

主頁連結：https://www.tensorflow.org/

Github連結：https://github.com/tensorflow/tensorflow

2.     Berkeley Vision and LearningCenter (BVLC) 的Caffe [C++]

主頁連結：http://caffe.berkeleyvision.org/

Github連結：https://github.com/BVLC/caffe

安裝指南：http://gkalliatakis.com/blog/Caffe_Installation/README.md

3.     François Chollet的Keras [Python]

主頁連結：https://keras.io/

Github連結：https://github.com/fchollet/keras

4.     Microsoft Cognitive Toolkit -CNTK [C++]

主頁連結：https://www.microsoft.com/en-us/research/product/cognitive-toolkit/

Github連結：https://github.com/Microsoft/CNTK

5.     Amazon 的MXNet [C++]

主頁連結：http://mxnet.io/

Github連結：https://github.com/dmlc/mxnet

6.     Collobert, Kavukcuoglu &Clement Farabet的Torch，被Facebook廣泛採用[Lua]

主頁連結：http://torch.ch/

Github連結：https://github.com/torch

  1. Andrej Karpathy 的Convnetjs [JavaScript]

    主頁連結：http://cs.stanford.edu/people/karpathy/convnetjs/

    Github連結：https://github.com/karpathy/convnetjs

  2. Université de Montréal的 Theano [Python]

    主頁連結：http://deeplearning.net/software/theano/

    Github連結：https://github.com/Theano/Theano

  3. startup Skymind 的Deeplearning4j [Java]

    主頁連結：https://deeplearning4j.org/

    Github連結：https://github.com/deeplearning4j/deeplearning4j

  4. Baidu 的Paddle[C++]

    主頁連結：http://www.paddlepaddle.org/

    Github連結：https://github.com/PaddlePaddle/Paddle

  5. Amazon 的Deep Scalable Sparse  Tensor Network Engine (DSSTNE) [C++]

    Github連結：https://github.com/amzn/amazon-dsstne  

  6. Nervana Systems 的Neon [Python & Sass]

    主頁連結：http://neon.nervanasys.com/docs/latest/

    Github連結：https://github.com/NervanaSystems/neon

  7. Chainer [Python]

    主頁連結：http://chainer.org/

    Github連結：https://github.com/pfnet/chainer

  8. h2o [Java]

    主頁連結：https://www.h2o.ai/

    Github連結：https://github.com/h2oai/h2o-3

  9. Istituto Dalle Molle di     Studi sull’Intelligenza Artificiale (IDSIA) 的Brainstorm [Python]

    Github連結：https://github.com/IDSIA/brainstorm

  10. Andrea Vedaldi 的Matconvnet by [Matlab]

    主頁連結：http://www.vlfeat.org/matconvnet/

    Github連結：https://github.com/vlfeat/matconvnet

更多細節請參考原文連結：http://gkalliatakis.com/blog/delving-deep-into-gans

相關推薦

GAN|生成對抗網路的前沿進展（論文、框架&資源）全面總結

成模型（GenerativeModel）是一種可以通過學習訓練樣本來產生更多類似樣本的模型。在所有生成模型當中，最具潛力的是生成對抗網路（Generative Adversarial Networks, GANs）。GANs 是非監督機器學習的一種，它的運作方式可被看做

生成對抗網路（GAN）的前沿進展（論文、報告、框架和Github資源）彙總

生成模型（GenerativeModel）是一種可以通過學習訓練樣本來產生更多類似樣本的模型。在所有生成模型當中，最具潛力的是生成對抗網路（Generative Adversarial Networks, GANs）。GANs 是非監督機器學習的一種，它的運作方式可被看

【深度學習】GAN生成對抗網路原理詳解（1）

一個 GAN 框架，最少（但不限於）擁有兩個組成部分，一個是生成模型 G，一個是判別模型 D。在訓練過程中，會把生成模型生成的樣本和真實樣本隨機地傳送一張（或者一個 batch）給判別模型 D。判別模型 D 的目標是儘可能正確地識別出真實樣本（輸出為“真”，或者1），和儘可能

Generative Adversarial Network (GAN) 生成對抗網路

Part One. Introduction of GAN The Structure of GAN 其中可以看到GAN中有兩個最關鍵的結構就是generator（生成器）和discriminator（判別器）。生成器是為了生成接近真實資料分佈的虛假樣本，判別器是為了

GAN-生成對抗網路原理

最近一直在看GAN，我一直認為只有把部落格看了一遍，然後再敲一遍。這樣才會有深刻的感悟。   GAN（生成式對抗網路）（GAN, Generative Adversarial Networks ）是一種深度學習模型，分佈在無監督學習上。 分成兩個模組：生成模型（Generative

利用pytorch實現GAN(生成對抗網路)-MNIST影象-cs231n-assignment3

Generative Adversarial Networks（生成對抗網路） In 2014, Goodfellow et al. presented a method for training generative models called Ge

tensorflow 1.01中GAN(生成對抗網路)手寫字型生成例子(MINST)的測試

為了更好地掌握GAN的例子，從網上找了段程式碼進行跑了下，測試了效果。具體過程如下： 程式碼檔案如下： import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data i

GAN—生成對抗網路

原理： 假設我們有兩個網路：一個生G（Generator），一個判別D（Discriminator）。 G是一個生成圖片的的網路，它接受一個隨機的噪聲z，通過這個噪聲生成圖片，記做G（z）。 D是一個判別網路，判斷一張圖片是不是“真實的”。它的輸入引數是x

轉：生成對抗網路GANs理解（附程式碼）

from：http://blog.csdn.net/sxf1061926959/article/details/54630462 author:DivinerShi 生成模型和判別模型 理解對抗網路，首先要了解生成模型和判別模型。判別模型比較好理解，就像分類一樣，

計算機網路原理筆記（五、運輸層）

5.運輸層 5-1.運輸層協議概述 從通訊和資訊處理的角度看，運輸層向它上面的應用層提供通訊服務，它屬於面向通訊部分的最高層，同時也是使用者功能中的最低層。 當網路的邊緣部分中的兩個主機使用網路的核心部分的功能進行端到端的通訊時，只有位於網路

七個不容易被發現的生成對抗網路（GAN）用例

像許多追隨AI發展的人一樣，我無法忽略生成建模的最新進展，尤其是影象生成中生成對抗網路（GAN）的巨大成功。看看下面這些樣本：它們與真實照片幾乎沒有區別！   從2014年到2018年，面部生成的進展也非常顯著。 這些結果讓我感到興奮，但我內心總是懷疑它們是否真

生成對抗網路（GAN）應用於影象分類

　　近年來，深度學習技術被廣泛應用於各類資料處理任務中，比如影象、語音和文字。而生成對抗網路（GAN）和強化學習（RL）已經成為了深度學習框架中的兩顆“明珠”。強化學習主要用於決策問題，主要的應用就是遊戲，比如deepmind團隊的AlphaGo。因為我的研究方向是影象的有監督分類問題，

初步認識GAN（生成對抗網路）

初步認識GAN（生成對抗網路） 1.GAN的發明 生成模型的基本思想是輸入一個訓練樣本集合，形成樣本概率分佈的表徵。 常用的生成模型是直接推斷他的密度概率函式。 好的生成模型有以下幾方面的實際應用; 1. 提升圖片的質量（高解析度） 2. 預測未來狀態的規劃 3.生成缺失資料和標

生成對抗網路學習（GAN）學習筆記

文章目錄 2018-11-16 GAN的原理 2018-11-15 Multimodal Unsupervised Image-to-Image Translation 2018-11-13 Image-to-

在瀏覽器中進行深度學習：TensorFlow.js (八）生成對抗網路 （GAN

Generative Adversarial Network 是深度學習中非常有趣的一種方法。GAN最早源自Ian Goodfellow的這篇論文。LeCun對GAN給出了極高的評價： “There are many interesting recent development in deep learni

keras 實現GAN（生成對抗網路）

本文將介紹如何在Keras中以最小的形式實現GAN。具體實現是一個深度卷積GAN，或DCGAN：一個GAN，其中generator和discriminator是深度卷積網路，它利用`Conv2DTranspose`層對generator中的影象上取樣。 然後將在CIFAR10的影象上訓練GAN，CI

生成對抗網路GAN系列（六）--- CycleGAN---文末附程式碼

Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks Jun-Yan Zhu      Taesung Park          Phillip Isola   

生成對抗網路GAN（一） 簡介和變種

基本概念[1] 目標函式 零和遊戲（zero-sum game） 納什均衡 minimax演算法 GAN借鑑了零和遊戲的思想，引入生成網路和辨別網路，讓兩個網路互相博弈，當辨別網路不能辨別資料來自於真實分佈還是生成網路的時候，此時的生成網路可以

一篇讀懂生成對抗網路（GAN）原理+tensorflow程式碼實現

作者：JASON 2017.10.15   生成對抗網路GAN（Generative adversarial networks）是最近很火的深度學習方法，要理解它可以把它分成生成模型和判別模型兩個部分，簡單來說就是：兩個人比賽，看是 A 的矛厲害，還是 B

深度 | 生成對抗網路初學入門：一文讀懂GAN的基本原理（附資源）

選自 Sigmoidal 作者：Roman Trusov 機器之心編譯 參與：Panda 生成對抗網路是現在人工智慧領域的當紅技術之一。近日，Sigmoidal.io 的部落格發表了一篇入門級介紹文章，對 GAN 的原理進行了解釋說明。另外，在該文章的最後還附帶了一些能幫助初學者自己