網友們票選的2018 Best Paper，你pick誰？
整理 | 琥珀
出品 | AI科技大本營
不久前，Reddit 機器學習論壇上一位網友釋出了一個帖子：
“What is the best ML paper you read in 2018 and why?（你認為 2018 年讀過的最好的論文是哪篇？）”吸引了各路網友前來回答。
營長根據答案的 Top 順序，整理了這些論文，快來看看，是否有你最支援的那篇呢？如果不在，歡迎補充！
Top 1：GAN Dissection: Visualizing and Understanding Generative Adversarial Networks
連結：https://arxiv.org/abs/1811.10597
簡介：該論文提出了一個可以在單位、目標和場景不同級別視覺化分析框架。可以幫助研究人員更好的理解 GAN 模型。
推薦人：SupportVectorMachine、64 points
推薦理由：今年有很多很棒的成果，NVIDIA 近期最新的研究成果也非常贊，但是推薦人表示自己最喜歡的還是這篇文章。這篇論文寫的好，插圖也最精美，全面且易於理解。
Top 2：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
連結：https://arxiv.org/abs/1810.04805
簡介：該論文引入了一種新語言表示模型BERT（Bidirectional Encoder Representations from Transformers）雙向編碼器表徵。與此前其他的語言表示模型不同的是，BERT旨在通過所有層中的左、右語境聯合調整，來預訓練深層雙向表徵。
推薦人：kartayyar、49 points
推薦理由：一是有非常好的創新理念，masked LM 的應用很有創意；二是以非常簡練的術語描述了核心觀點；三是在GitHub上開源的程式碼可以重現；四是可處理多項不同任務。
Top 3：Neural Ordinary Differential Equations
連結：https://arxiv.org/abs/1806.07366
簡介：論文引入了一種新的深度神經網路模型家族。論文並沒有規定一個離散的隱藏層序列，而是使用神經網路將隱藏狀態的導數引數化，然後使用黑箱微分方程求解器計算網路的輸出。這些連續深度模型的記憶體成本是恆定的，可根據輸入調整評估策略，並可明顯用數值精度換取運算速度。
推薦人：Hyper1on、43 points
推薦理由：最酷的一篇論文
Top 4：Large-Scale Study of Curiosity-Driven Learning
連結：https://arxiv.org/abs/1808.04355
簡介：本篇論文對只由內在獎勵驅動的智慧體進行了大規模的實證研究。他們選擇了Pathak等人提出的基於好奇心的內在獎勵模型，並在Atari 遊戲、超級馬里奧兄弟、Unity 中的虛擬 3D 導航、多人乒乓以及 Roboschool 等各個環境中進行了大量研究。
推薦人：beealebub33、35 points
推薦理由：本篇論文的重要性在於它在沒有明確獎勵的情況下在各項遊戲中取得了良好成績。通過預測、確認期待違背和探索未知領域，它學習到了如何做遊戲。這從而指出人工智慧應該引導的方向：自監督、無標註資料、預測、好奇心、本能反應等。對於世人而言，根本沒有那麼多時間可以產生訓練資料集然後再定義這些資料集的指標。相反，如果你提供給AI的是源於系統（或自然世界）的原始資料，且可以學習系統時空演變的內部展現，那麼你可以設定一個AI可以完成的目標。
Top 5：Phrase-Based & Neural Unsupervised Machine Translation
連結：https://arxiv.org/abs/1804.07755
簡介：該論文探究瞭如何在只有大規模單語語料庫的情況進行機器翻譯。作者提出了兩種模型變體，一種基於神經網路和一種基於短語的模型。
推薦人：breadwithlice、30 points
推薦理由：僅使用單語語料庫，將一種語言翻譯成另一種語言而不用任何對映、字典或並行資料。通過反向翻譯技術，這極大地提升了翻譯器的能力，從A翻譯到B，然後從B翻譯到A，然後重新再來一遍，結果非常令人滿意。
Top 6：An Introduction to Probabilistic Programming
連結：https://arxiv.org/abs/1809.10756
簡介：該論文主要介紹了概率程式設計系統的背景介紹，以及設計和構建這些系統所需的技術。
推薦人：ndha1995、22 points
推薦理由：作者對概率規劃進行了全面而嚴謹的介紹，並在最後一章中介紹了深度神經網路與概率規劃相結合的最新研究。
Top 7：Rethinking statistical learning theory: learning using statistical invariants
連結：https://link.springer.com/article/10.1007/s10994-018-5742-0
簡介：本文介紹了一種新的學習正規化“ Learning Using Statistical Invariants” (LUSI)，它與經典學習正規化不同。從數學的角度看，經典範式的方法採用近似於期望函式的強收斂機制，而新正規化則採用了強收斂和弱收斂機制。
推薦人：anterak13、15 points
Top 8：Learning a SAT Solver from Single-Bit Supervision
連結：https://arxiv.org/abs/1802.03685
簡介：該論文提出了NeuroSAT，這是一種傳遞神經網路的資訊，只有在被訓練為預測可滿足性的分類器後才會解決SAT的問題。
推薦人：edwardthegreat、12 points
Top 9：AutoAugment: Learning Augmentation Policies from Data
連結：https://arxiv.org/abs/1805.09501
簡介：谷歌大腦的研究人員進一步研究了用於影象的資料增強策略，並提出了一個名為AutoAugment的的簡單過程，用來搜尋改進的資料增強策略。
推薦人：thatgudr、12 points
推薦理由：實用性非常強、適用於一切事物。
Top 10：Relational inductive biases, deep learning, and graph networks
連結：https://arxiv.org/abs/1806.01261
簡介：這篇是由DeepMind、谷歌大腦、MIT、愛丁堡等27位作者聯合發表的關於歸納偏置、典型深度學習構建和圖網路的綜述文章，探討了如何在深度學習中使用關係歸納偏置，來有效解決傳統“人工構造學習”和 “端到端學習”的弊端，以增強學習的可解釋性。
推薦人：edwardthegreat2、22 points
Top 11：Backprop as Functor: A compositional perspective on supervised learning
連結：https://arxiv.org/pdf/1711.10455.pdf
簡介：DeepMind最新提出“神經算數邏輯單元”，類似傳統處理器中的算數邏輯單元，旨在處理神經網路資料模擬能力不足的問題。它將數值表示為線性啟用函式，使用原始算數運算子進行操作，並由學習門（learned gates）控制。
推薦人：DunkelBreard、11 points
推薦理由：關於類別理論結構的技術，引數調整的一個很好的改變。
此外，還有很多網友分享了自己認為的 2018 最佳論文，包括遷移學習領域的 “Taskonomy: Disentangling Task Transfer Learning”，強化學習領域的 “Lable Distributed Deep-RL with Importance Weighted Actor-Learner Architectures”，無監督學習領域元學習的 “Learning Unsupervised Learning Rules”。
當然，在人工智慧的大潮下，頂級學術會議成為學術界、產業界、乃至公眾均密切關注的事件。2018 年，從年初至年末，我們也看到了機器學習、計算機視覺、自然語言處理等領域的優秀論文的湧現。為此，我們選取了國際上八大頂尖學術會議的代表性獲獎論文，以饗讀者。我們也希望在 2019 年可以見證更多人工智慧領域優秀成果的突破。
為此，大家可以在後臺回覆“2018BestPaper”，可以獲取本年度最佳論文全部合輯~
參考連結：
https://www.reddit.com/r/MachineLearning/comments/a6cbzm/d_what_is_the_best_ml_paper_you_read_in_2018_and/?sort=top
（*AI科技大本營原創文章，轉載請聯絡微信1092722531）
公開課預告
◆
強化學習
◆
本課程是一次理論+實戰的結合，將重點介紹強化學習的模型原理以及A3C模型原理，最後通過實踐落實強化學習在遊戲中的應用。
推薦閱讀