1. 程式人生 > >通過GAN網路生成樣本的一些想法創造資料

通過GAN網路生成樣本的一些想法創造資料

GAN的初始目的是基於大量的無標記資料無監督地學習生成器G,具備生成各種形態(影象、語音、語言等)的資料能力。隨著研究的深入與發展,以生成影象為例,GAN能夠生成百萬級解析度的高清影象[6]。實際上,GAN生成資料並不是無標記真實資料的單純復現,而是具備一定的資料內插和外插作用,可以作為一種資料增廣方式結合其它資料更好地訓練各種學習模型。進而,通過在生成器的輸入同時包括隨機變數z和隱碼c並最大化生成影象與隱碼c的互資訊,InfoGAN能夠揭示覆雜資料中隱含的分佈規律,實現資料的解釋化表達[7]。因而,GAN不僅可以用於探索複雜資料的潛在規律,還能夠生成高質量的生成樣本以作為真實資料的有效補充,為學習智慧模型提供了新的視角和資料基礎。

 

對於條件GAN模型,生成網路的輸入往往被定義為樣本的類別甚至其它形式(模態)的資料。到目前為止,已研究了根據文字描述生成影象[8],進行互動式影象編輯[9],從低解析度影象生成高解析度影象[10],預測視訊的未來幀[11],將模擬影象轉換為真實風格的影象[12],實現通用的影象到影象轉換[5],對真實影象的光照和天氣條件進行變換[13],從二維影象生成物體的三維模型等[14]。資料形式(模態)的轉換可以進一步帶來不同模態之間資料的可複用、模型和知識的遷移、創造更高水平的智慧。例如,SimGAN能夠將模擬影象轉換為更具真實感的影象,同時保持模擬影象的標註資訊不變,利用轉換後的影象資料來訓練視線估計和手勢估計模型,使模型精度得到大幅提升[12]。

 

更進一步,由於GAN引入了對抗學習機制,在訓練生成器產生更高質量資料的過程中,本身就會創造新的智慧。例如,將語義分割卷積神經網路作為GAN的生成器,用判別器來判斷分割圖是來自分割網路還是來自真實標註,可以引入更高階的一致性約束,提高語義分割的精度[15];在本專刊中,鄭文博等撰寫的《基於貝葉斯生成對抗網路的背景消減演算法》利用GAN的對抗學習機制來訓練背景消減神經網路,將一批輸入影象直接轉換成一批前景/背景分割結果,在公共測試集上取得了良好的效能;MalGAN能夠主動生成具有對抗性的病毒程式碼樣本,攻擊黑盒病毒檢測模型,有利於提高反病毒軟體的效能[16]。總之,GAN在對抗樣本、資料增廣、遷移學習和創造智慧等方面都展現出巨大的潛力,已成為當前的深度學習與人工智慧研究中關注的熱點。