【論文筆記】Generative Adversarial Networks
該文提出一種新穎的對抗式生成模型架構，這種框架同時訓練兩個模型，一個是生成模型G，用來習得資料的真實分佈，一個是判別模型D，用來判斷一個樣本是否是真實樣本。G的訓練過程就是儘可能地讓D犯錯誤，該網路最後的目標就是讓G通過輸入的噪聲重構出訓練資料的分佈，並且讓D不論是面對真實資料還是假資料的判別概率等於50%。這個第一代生成對抗網路的生成器和判別器都是採用的多層感知機模型（multilayer perceptrons），可以通過反向傳播演算法訓練。
網路結構
對於生成器G，我們使用隨機生成的噪音資料pz(z)作為先驗輸入到模型中（一般使用均勻分佈，幾乎所有的重要分佈都可以從均勻分佈uniform（0，1）中生成出來），G(z; θg)即擁有引數θg的生成器G將輸入的噪聲z轉換到資料分佈中去。D(x; θd)返回一個標量概率值，表示擁有引數θd的判別器D判斷輸入的x樣本來自真實的訓練資料分佈的概率。我們要訓練G來最大化，D(G(z)),即最小化log(1 − D(G(z)))，訓練D以最大化將來自真實資料和G生成的資料判別正確的概率，即最大化D(x)和1-D(G(z))。
對於G：min log(1 − D(G(z))),
對於D：max log(D(x))+ log(1-D(G(z)))
於是將兩個式子結合一下就得到了論文總要優化的那個式子：
在實際訓練中，我們要使用迭代數值的方法來訓練網路，但是完成內層迴圈中D的優化在計算上是不可行的並且容易過擬合，取而代之，我們對D和G進行交替訓練，優化k次D然後優化一次G。 在訓練初期，因為生成器G還沒有學到資料分佈，G產生的資料會很容易被D判錯，此時log(1 − D(G(z)))會達到飽和，這樣G會得不到足夠的梯度值來訓練。於是對於G我們將minimize log(1 − D(G(z)))改成maxmize log(D(G(z)))，這樣可以加快訓練收斂速度。
藍線：判別模型的分佈D
黑虛線：真實資料分佈Px
綠實線：生成模型分佈G
下圖展示了G把噪聲z對映到x中，並通過不斷訓練，生成模型的分佈越發擬合真實資料分佈，判別模型變得不再能判別處Px和D生成的資料。
相關推薦
【論文筆記】Generative Adversarial Networks
該文提出一種新穎的對抗式生成模型架構，這種框架同時訓練兩個模型，一個是生成模型G，用來習得資料的真實分佈，一個是判別模型D，用來判斷一個樣本是否是真實樣本。G的訓練過程就是儘可能地讓D犯錯誤，該網路最後的目標就是讓G通過輸入的噪聲重構出訓練資料的分佈，並且讓D
【論文筆記】An Intelligent Fault Diagnosis Method Using: Multivariate Anomaly Detection for Time Series Data with Generative Adversarial Networks
ivar 單位矩陣 作用 一次 一個 http example tps 計算 論文來源：IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS 2016年的文章，SCI1區，提出了兩階段的算法。第一個階段使用Sparse filtering
【深度學習NLP論文筆記】《Adversarial Example For Natural Language Classification Problems》
一、介紹 圖一：三個在文字分類任務中使用對抗樣本的例子。分別是垃圾郵件分類、情感分析、虛假新聞檢測。全是依靠同義詞替換實現的。 二、背景 分類問題的目標是從輸入和標籤中學習一種對映。其中標籤可能來自K個類，如。 分類器f可能是個深度神經網路或者線性模型，它會為輸入x
Question Answering over Freebase with Multi-Column Convolutional Neural Networks【論文筆記】
一、概要 通過知識庫回答自然語言問題是一個重要的具有挑戰性的任務。大多數目前的系統依賴於手工特徵和規則。本篇論文，我們介紹了MCCNNs，從三個不同層面（答案路徑，答案型別，答案上下文）來理解問題。同時，在知識庫中我們共同學習實體和關係的低維詞向量。問答對用於訓練模型以對候選答案
【深度學習論文筆記】Deep Neural Networks for Object Detection
論文:<<Deep Neural Networks for Object Detection>> 作者:Christian Szegedy Al
【論文筆記】Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks
寫在前面： 我看的paper大多為Computer Vision、Deep Learning相關的paper，現在基本也處於入門階段，一些理解可能不太正確。說到底，小女子才疏學淺，如果有錯
【Paper Note】Generative Adversarial Nets 論文理解
前言 起先接觸GAN，被論文中的公式嚇到了~~~這尼瑪都是什麼鬼~~~啃了很久，終於把論文中的模型推匯出來，整理成這篇文章。 GAN介紹 Generative Adversarial Nets這篇論文是Ian Goodfellow等人於2014年發表，至此，GAN在深
【論文筆記】Region-based Convolutional Networks for Accurate Object Detection and Segmentation
《Region-based Convolutional Networks for Accurate Object Detection and Segmentation》是將卷積神經網路應用於物體檢測的一篇經典文章。 整個識別過程可以用下面的一張圖片來清晰的表示： 首先給定一
【論文筆記】張航和李沐等提出：ResNeSt: Split-Attention Networks（ResNet改進版本）
github地址：https://github.com/zhanghang1989/ResNeSt 論文地址：https://hangzhang.org/files/resnest.pdf 核心就是：Split-attention blocks 先看一組圖： ResNeSt在影象分
【論文筆記】T Test
nor thum pan n-1 統計學 for nes 其它 align 用來算兩組數的差別大小 只要是一種叫做p-value的 就是說假如你測定一個實驗的p-value是5%也就是說你有95%的信心確定這個實驗它是正確的在正規的實驗裏 只有當p-value小於5%的時候
【論文閱讀】Siamese Neural Networks for One-shot Image Recognition
關鍵詞： one-short learning : 待解決的問題只有少量的標註資料，先驗知識很匱乏，遷移學習就屬於one-short learning的一種 zero-short learning: 這個種情況下完全沒有
Reading Wikipedia to Answer Open-Domain Questions【論文筆記】
一、摘要 這篇文章主要是介紹使用維基百科作為唯一的知識庫來解決開放域問答。大規模機器閱讀任務的主要挑戰是文件檢索（查詢相關文章）和機器閱讀理解（從文章中確定答案片段）。作者的方法將基於bigram hashing 和TF-IDF匹配的搜尋元件與經過訓練以檢測維基百科段落中的答案的多層
Semantic Parsing via Staged Query Graph Generation: Question Answering with Knowledge Base【論文筆記】
一、摘要 我們對知識庫問答提出一個新穎的語義解析框架。我們定義了一個類似於知識庫子圖的查詢圖，可以直接對映為邏輯形式。語義解析被簡化為查詢圖生成，被表述為分階段搜尋問題。與傳統方法不同，我們的方法在早期就利用知識庫來修剪搜尋空間，從而簡化語義匹配問題。通過應用實體鏈指系統和深度卷
Context-Aware Basic Level Concepts Detection in Folksonomies【論文筆記】
一、概要 這篇論文討論了在 folksonomies中探索隱含語義的問題。在 folksonomies中，使用者建立和管理標籤來標註web資源。使用者建立的標籤的集合是潛在的語義資源。做了大量研究來抽取概念，甚至概念層次 (本體)，這是知識表示的重要組成部分。沒有用於發現人類可接受和令人滿意
Question Answering with Subgraph Embeddings【論文筆記】
一、摘要 這篇論文提出一個系統，在大範圍主題的知識庫中，學習使用較少的手工特徵來回答問題。我們的模型學習單詞和知識庫組成的低維詞向量。這些表示用於根據候選答案對自然語言問題打分。使用成對的問題和對應答案的結構化表示，和成對的問題釋義來訓練系統，在最近的文獻基準中產生有競爭力的結果。 &n
Information Extraction over Structured Data: Question Answering with Freebase【論文筆記】
Information Extraction over Structured Data:Question Answering with Freebase 一、摘要
Semantic Parsing on Freebase from Question-Answer Pairs【論文筆記】
參考：https://zhuanlan.zhihu.com/p/25759682 原文：https://cs.stanford.edu/~pliang/papers/freebase-emnlp2013.pdf 一 、摘要 作者訓練了一個可擴充套件到Freebase的語義解析器，由於
vggface2人臉識別資料集 【論文筆記】VGGFace2——一個能夠用於識別不同姿態和年齡人臉的資料集
原 【論文筆記】VGGFace2——一個能夠用於識別不同姿態和年齡人臉的資料集 2018年01月10日 14:53:31 有來有去-CV 閱讀數：6701
【論文閱讀】Deep Adversarial Subspace Clustering
導讀： 本文為CVPR2018論文《Deep Adversarial Subspace Clustering》的閱讀總結。目的是做聚類，方法是DASC=DSC（Deep Subspace Clustering）+GAN（Generative Adversarial Networks）。本文從以下四個方面來
【論文筆記】使用多流密集網路的密度感知單影象去雨
使用多流密集網路的密度感知單影象去雨 《Density-aware Single Image De-reaining using a Multi-stream Dense Network》 0 概要 這裡提出一種密度感知多路稠密連線神經網路演算法，DID-MDN，來雨量