GAN框架研究與思路整理
阿新 • • 發佈：2019-01-23
本文內容將著重分析當前GAN原理及其應用場景，比對其相對於傳統深度學習方法在影象生成等方面的區別
總結：以上應用都是利用了GAN對目標資料的資料分佈特點捕獲的能力(個人認為也是GAN能實現資料生成最強大的地方)
四、傳統CNN實現藝術風格轉換 VS GAN框架實現藝術風格轉換 
該模型一旦訓練好，對於輸入的內容圖就能實現模型對應的藝術風格轉換，同時保留內容圖的語義資訊。即將傳統的線上訓練模式轉換為離線訓練，線上前饋測試，大大提高了影象轉換的實時性
五、GAN框架運用思路整理及疑問
結合GAN框架對於任意生成網路與判別網路的相容性，以及零和博弈這種對抗式訓練模式對於目標資料分佈的捕獲能力，GAN框架適用於針對資料的生成與轉換，通過零和博弈獲取人工設計困難的轉換關係（如模糊影象轉高清影象，按照傳統方法，高頻分量丟失造成的資訊缺失是很難恢復，但GAN通過捕獲高清影象的資料分佈特點，實現了轉換關係的設計）。
而從訓練資料來源的角度：針對樸素GAN，僅更改訓練樣本能實現對任意圖資料的生成模型訓練，且由於無監督學習的特點，資料來源豐富。而通過在訓練過程中隱含層引入一定的標籤資訊，如影象中的位置資訊，得到的模型將
能根據輸入資料資訊，實現更細化的資料生成，如影象翻譯，文字->影象等。
因此，針對GAN的特點，目前已有的思路還是較為集中在其對資料分佈特點的捕捉能力上，能否由此發散，考慮其他影象增強和影象變換方面的運用？用於特點環境下的影象資料簡化（如去霧）或者特定影象增強（如普通影象轉熱成像），由此方便機器判斷或者個人體驗？
一、原始GAN原理
原始GAN論文中的思想為生成模型與判別模型間的零和博弈，通過對抗式的訓練，生成模型G捕捉樣本資料的資料分佈，判別模型則是一個二分類模型，估計一個樣本來自訓練資料（而非生成資料）的概率。G和D一般都是非線性對映函式，如多層感知器（樸素GAN）/卷積神經網（DCGAN）等。 訓練過程中GAN網路中的生成器模型G的目標就是生成看上去儘量真實的資料去欺騙判別器D，而D作為一個二分類模型，目標為判斷輸入的資料是否“真實”，對於其認為的”真實“的資料輸出值會盡量接近1，反之資料逼近於0，代表認為不可能是真實圖片，由此形成一種動態博弈過程。博弈的理想結果為，在判別器已經很強大的情況下，仍然無法分辨來自生成器模型的資料是否是真實的，即此時的D(G(Z))=0.5.此時便得到了訓練結果：生成模型G，二、原始GAN優缺點
2.1GAN框架有著很多的優點： ①GAN能訓練任何一種生成器網路，不需要設計遵循任何種類的因式分解模型； ②任意的生成網路（G）和鑑別網路（D）都會有用（只要網路可微分）,GAN只需要反向傳播而不需要利用馬爾科夫鏈反覆取樣(傳統生成模型必備)； ③通過引入內部對抗訓練機制，無需在學習過程中進行推斷，迴避了近似棘手的概率問題，可以逼近一些不是很容易計算的目標函式 ④生成器模型G的引數更新不來自於資料樣本本身（不是對資料的似然性進行優化),而是來自模型D的一個反傳梯度） 2.2GAN框架的主要缺點： ①可解釋性差，生成模型最終捕獲的資料分佈Pg(D)沒有顯示的表達，只是一個黑盒子一樣的對映函式，輸入是一個隨機變數，輸出是需要的資料分佈。
總結：以上應用都是利用了GAN對目標資料的資料分佈特點捕獲的能力(個人認為也是GAN能實現資料生成最強大的地方)
四、傳統CNN實現藝術風格轉換 VS GAN框架實現藝術風格轉換
該模型一旦訓練好，對於輸入的內容圖就能實現模型對應的藝術風格轉換，同時保留內容圖的語義資訊。即將傳統的線上訓練模式轉換為離線訓練，線上前饋測試，大大提高了影象轉換的實時性
五、GAN框架運用思路整理及疑問
結合GAN框架對於任意生成網路與判別網路的相容性，以及零和博弈這種對抗式訓練模式對於目標資料分佈的捕獲能力，GAN框架適用於針對資料的生成與轉換，通過零和博弈獲取人工設計困難的轉換關係（如模糊影象轉高清影象，按照傳統方法，高頻分量丟失造成的資訊缺失是很難恢復，但GAN通過捕獲高清影象的資料分佈特點，實現了轉換關係的設計）。
而從訓練資料來源的角度：針對樸素GAN，僅更改訓練樣本能實現對任意圖資料的生成模型訓練，且由於無監督學習的特點，資料來源豐富。而通過在訓練過程中隱含層引入一定的標籤資訊，如影象中的位置資訊，得到的模型將
能根據輸入資料資訊，實現更細化的資料生成，如影象翻譯，文字->影象等。
因此，針對GAN的特點，目前已有的思路還是較為集中在其對資料分佈特點的捕捉能力上，能否由此發散，考慮其他影象增強和影象變換方面的運用？用於特點環境下的影象資料簡化（如去霧）或者特定影象增強（如普通影象轉熱成像），由此方便機器判斷或者個人體驗？