作者開始有兩套不同領域的影象，如馬和斑馬，並學習兩種轉換網：一種將馬轉換為斑馬，另一種則相反。每一種轉換都進行一種樣式轉換，但不是針對單個影象的風格，而是在網路中發現的一組影象的聚合風格。

轉換網被訓練成一對生成對抗網路（Generative Adversarial Network，簡稱 GAN，是非監督式學習的一種方法，通過讓兩個神經網路相互博弈的方式進行學習），每個網路都試圖欺騙鑑別者，使其相信「轉換後」的影象是真實的。引入了額外的「迴圈一致性損失」鼓勵影象在經過兩個轉換網路（即向前和向後）之後保持不變。

論文的視覺效果是驚人的，強烈建議去 GitHub看看一些其他的例子。我特別感興趣這篇是因為，與許多以前的方法

不同的是，它學會在不成對影象集之間進行轉換，開啟可能不存在匹配影象對的應用程式的大門。此外，程式碼非常易於使用和實驗，證明了方法的穩健性和實現的質量。

2. 最優雅：WASSERSTEIN DISTANCE，更好的神經網路訓練

目標：使用更好的目標函式來更穩定地訓練 GAN

這篇論文提出了使用稍微不同的目標函式訓練生成抗性網路，新提出的目標函式比標準 GAN訓練要穩定得多，因為它避免了在訓練過程中消失梯度：

使用次修改的目的，作者還避免了一個稱為模式崩潰的問題，其中標準 GAN 僅從可能輸出的一個子集中產生樣本。例如，如果一個 GAN 正在訓練產生手寫的數字4和6，則 GAN 可能只生產4，並不能在訓練中規避這個區域性最小值。而通過消除在訓練目標梯度，即所謂的 Wasserstein GAN 來避免此問題。

這篇論文非常獨立：作者

(1)激發一個簡單的想法

(2)在數學上顯示為什麼應該改進當前的技術水平

(3)有一個令人印象深刻的結果展示其有效性。

此外，作者提出的修改在幾乎所有流行的深度學習框架中都很容易實現，使得采用所提出的改變是切實可行的。

3.最有用：使用 GANS 進行無監督的模擬訓練細化資料

目標：使用真實世界的影象，使模擬訓練資料現實應用中更有用

採集真實世界的資料是比較困難和耗時的。因此，許多研究人員經常使用模擬工具，它們能夠產生標記的訓練資料的幾乎無限量的。然而，大多數模擬資料對於訓練在真實資料上操作的深度學習系統是不夠逼真的。

為了克服這種侷限性，論文使用生成對抗網路（GAN）來使用未標記的真實世界影象來改進標記的模擬影象。 他們訓練一個「細化網路」來欺騙辨別分類器，該分類器被訓練成可以區分精緻的模擬影象和真實影象。 由於細化網路和分類器是一體化訓練的，精緻的模擬影象開始顯得非常逼真：

當這篇論文釋出出來時，我立即產生了興趣，因為它提出了第一個實用的方法來彌合模擬資料與真實資料之間的差距。這裡關鍵的是該演算法是無監督的，這意味著使用者不需要手寫工標註真實資料。對於深度學習應用來說，資料為王，然而像我這樣的大多數學術實驗室都沒有資源來生成快速處理新的研究領域所需的大量資料：如果公共資料集不存在你們試圖解決的這個問題的資料，那麼你就停滯在收集和標註相關資料上了。

本文的外延資訊是，只要你有一個你正在試圖解決的問題的模擬器，你就應該能夠生成你所需要的訓練資料。

4.最令人印象深刻：從零開始的谷歌的圍棋 AI

目標：在沒有任何人類參與的情況下學習圍棋

如果沒有谷歌的 DeepMind 在過去這些年的另人印象深刻的成就，特別是他的 AlphaGo，2017 年的最佳名單將是不完整的。

最近的 AlphaGo Zero 論文避免了整合人類的知識或遊戲玩法：它只通過「自我玩耍」進行訓練，這是通過改進的強化學習訓練程式來實現的，其中的策略會隨著遊戲的前向模擬而更新，用於指導搜尋的神經網路在遊戲過程中得到改善，使訓練速度更快。僅僅在大約 40 個小時的遊戲時間之後 AlphaGo Zero 甚至超過了 AlphaGo Lee （ 2016 年擊敗了李世乭）的表現。

儘管我對這篇論文的興趣主要集中在工程學層面，但 AlphaGo 採用的混合經典和深度學習方法也讓我倍受鼓舞，在這種方法中，蒙特卡洛樹搜尋的增加使得系統性能優於單片神經網路。 作為研究機器人的人，我被這種組合方法所鼓舞：使用經典演算法作為決策的主幹，並使用機器學習來提高效能或克服計算限制。這篇論文和 2016 AlphaGo 論文也都很棒， 都寫得很好，充滿了有趣的技術細節和見解。 如果沒有其他原因，這些檔案值得詳細閱讀。

5.最發人深省：深度影象

目標：瞭解之前我們的神經網路模型賦予我們的實驗。

本文的作者不是用一大堆資料訓練一個深度神經網路，而是如今相當標準的，本文的作者想探討如何使用神經網路本身幫助我們解決一些流行的影象處理任務。他們從一個未經訓練的神經網路開始，用作者的話來說「不是在影象空間中搜索答案，而是在神經網路的引數空間中搜索」，並且避免將大型資料集中的神經網路。

我立刻被這個結果迷住了：我們的神經網路的結構對我們的資料有什麼意義？我們怎樣才能更好地理解這一點？我們如何利用這種方法來建立更好的網路模型？ 

--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

相關推薦