機器學習和深度學習的研究進展正深刻變革著人類的技術，本文列出了自 2014 年以來這兩個領域發表的最重要（被引用次數最多）的 20 篇科學論文，以饗讀者。

機器學習，尤其是其子領域深度學習，在近些年來取得了許多驚人的進展。重要的研究論文可能帶來使全球數十億人受益的技術突破。這一領域的研究目前發展非常快，為了幫助你瞭解進展狀況，我們列出了自 2014 年以來最重要的 20 篇科學論文。

我們篩選論文的標準是來自三大學術搜尋引擎谷歌學術（scholar.google.com）、微軟學術（academic.microsoft.com）和 semanticscholar.org 的引用量。由於不同搜尋引擎的引用量資料各不相同，所以我們在這裡僅列出了微軟學術的資料，其資料比其它兩家稍低一點。

我們還給出了每篇論文的發表時間、高度有影響力的引用數量（HIC）和引用速度（CV），以上資料由 semanticscholar.org 提供。HIC 表示了以此為基礎的論文情況和與其它論文的關係，代表了有意義的引用。CV 是最近 3 年每年引用數量的加權平均。有些引用的 CV 是 0，那是因為 semanticscholar.org 上沒有給出資料。這 20 篇論文中大多數（包括前 8 篇）都是關於深度學習的，但同時也很多樣性，僅有一位作者（Yoshua Bengio）有 2 篇論文，而且這些論文發表在很多不同的地方：CoRR (3)、ECCV (3)、IEEE CVPR (3)、NIPS (2)、ACM Comp Surveys、ICML、IEEE PAMI、IEEE TKDE、Information Fusion、Int. J. on Computers & EE、JMLR、KDD 和 Neural Networks。前 2 篇論文的引用量目前遠遠高於其它論文。注意第 2 篇論文去年才發表！要了解機器學習和深度學習的最新進展，這些論文一定不能錯過。

1. 論文：Dropout：一種防止神經網路過擬合的簡單方法（Dropout: a simple way to prevent neural networks from overfitting）

• 連結：http://suo.im/3o6l4B

• 作者：Hinton, G.E., Krizhevsky, A., Srivastava, N., Sutskever, I., & Salakhutdinov, R. (2014). Journal of Machine Learning Research, 15, 1929-1958.

• 資料：引用：2084、HIC：142、CV：536

• 摘要：其關鍵思想是在神經網路的訓練過程中隨機丟棄單元（連同它們的連線點）。這能防止單元適應過度，顯著減少過擬合，並相對於其它正則化方法有重大改進。

2. 論文：用於影象識別的深度殘差學習（Deep Residual Learning for Image Recognition）

• 連結：http://suo.im/1JrYXX

• 作者：He, K., Ren, S., Sun, J., & Zhang, X. (2016). CoRR

• 資料：引用：1436、HIC：137、CV：582

• 摘要：目前的深度學習網路層數越來越多，越來越難以訓練，因此我們提出了一種減緩訓練壓力的殘差學習框架。我們明確地將這些層重新定義為與輸入層有關的學習殘差函式，而不是學習未被引用的函式。與此同時，我們提供了全面的經驗證據以表明殘差網路更容易優化，並可通過增加其層數來提升精確度。

3. 論文：批標準化：通過減少內部協移加速深度神經網路訓練（Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift）

• 連結：http://suo.im/3sJtk1

• 作者：Sergey Ioffe, Christian Szegedy (2015) ICML.

• 資料：引用：946、HIC：56、CV：0

• 摘要：訓練深度神經網路的過程很複雜，原因在於每層的輸入分佈隨著訓練過程中引起的前面層的引數變化而變化。我們把這種現象稱為內部協變數轉移（internal covariate shift），並可利用歸一化層輸入來解決此問題。通過將此方法應用到最先進的影象分類模型，批標準化在訓練次數減少了 14 倍的條件下達到了與原始模型相同的精度，這表明批標準化具有明顯的優勢。

4. 論文：利用卷積神經網路進行大規模視訊分類（Large-Scale Video Classification with Convolutional Neural Networks）

• 連結：http://suo.im/25lfXF

• 作者：Fei-Fei, L., Karpathy, A., Leung, T., Shetty, S., Sukthankar, R., & Toderici, G. (2014). IEEE Conference on Computer Vision and Pattern Recognition

• 資料：引用：865、HIC：24、CV：239

• 摘要：針對影象識別問題，卷積神經網路（CNN）被認為是一類強大的模型。受到這些結果的激勵，我們使用了一個包含 487 個類別、100 萬 YouTube 視訊的大型資料集，對利用 CNN 進行大規模視訊分類作了一次廣泛的實證評估。

5. 論文：Microsoft COCO：語境中的通用物件（Microsoft COCO: Common Objects in Context）

• 連結：http://suo.im/DAXwA

• 作者：Belongie, S.J., Dollár, P., Hays, J., Lin, T., Maire, M., Perona, P., Ramanan, D., & Zitnick, C.L. (2014). ECCV.

• 資料：引用：830、HIC：78、CV：279

• 摘要：我們展示了一個新的資料集，通過將物件識別問題放入更廣泛的場景理解問題的語境中，以推進當前物件識別領域中最先進的技術。我們的資料集包含了 91 種物件型別的照片，這些圖片對於一個 4 歲大的孩子而言，很容易識別。最後，我們利用可變形部件模型（DPM）為邊界框和分割檢測結果提供了一個基線效能分析。

6. 論文：使用場景資料庫學習場景識別中的深層特徵（Learning deep features for scene recognition using places database）

• 連結：http://suo.im/2EOBTa

• 作者：Lapedriza, À., Oliva, A., Torralba, A., Xiao, J., & Zhou, B. (2014). NIPS.

• 資料：引用：644、HIC：65、CV：0

• 摘要：我們引入了一個以場景為中心的新資料庫，這個資料庫稱為「Places」，裡面包含了超過 700 萬個標註好了的場景。我們提議使用新方法去比較影象資料集的密度和多樣性，以表明 Places 與其它場景資料庫一樣密集並更具多樣性。

7. 論文：生成對抗網路（Generative adversarial nets）

• 連結：http://suo.im/3YS5F6

• 作者：Bengio, Y., Courville, A.C., Goodfellow, I.J., Mirza, M., Ozair, S., Pouget-Abadie, J., Warde-Farley, D., & Xu, B. (2014) NIPS.

• 資料：引用：463、HIC：55、CV：0

• 摘要：通過對抗過程，我們提出了一個評估生成模型的新框架。在此框架中，我們同時訓練兩個模型：生成模型 G 捕獲資料分佈；判別模型 D 評估樣本示來自訓練資料集（而不是來自 G 中）的概率。

8. 論文：通過核心相關濾波器實現高速跟蹤（High-Speed Tracking with Kernelized Correlation Filters）

• 連結：http://suo.im/2BBOea

• 作者：Batista, J., Caseiro, R., Henriques, J.F., & Martins, P. (2015). CoRR

• 資料：引用：439、HIC：43、CV：0

• 摘要：大多數的現代追蹤器，為應對自然影象中的變化，典型的方法是採用翻譯和縮放樣本補丁訓練分類器。我們針對包含成千上萬個翻譯補丁資料集提出了一個分析模型。結果表明結果資料矩陣是迴圈的，我們可以利用離散傅立葉變換對角化已有的迴圈矩陣，將儲存和計算量降低了幾個數量級。

9. 論文：多標籤學習演算法綜述（A Review on Multi-Label Learning Algorithms）

• 連結：http://suo.im/3LgpGf

• 作者：Zhang, M., & Zhou, Z. (2014). IEEE TKDE

• 資料：引用：436、HIC：7、CV：91

• 摘要：本論文的主要目的是對多標籤學習問題進行及時回顧。在多標籤學習問題中，一個例項代表一個樣本，同時，一個樣本與一組標籤相關聯。

10. 論文：深層神經網路特徵的可傳遞性（How transferable are features in deep neural networks）

• 連結：http://suo.im/aDLgu

• 作者：Bengio, Y., Clune, J., Lipson, H., & Yosinski, J. (2014) CoRR

• 資料：引用：402、HIC：14、CV：0

• 摘要：我們用實驗量化了深層卷積神經網路中每層神經元的一般性與特異性，並報告了一些令人驚訝的結果。可傳遞性受到兩個不同問題的不利影響：（1）以犧牲目標任務的效能為代價，實現更高層神經元對原始人物的專業化，這是預料之中的；（2）與分裂共同適應神經元（co-adapted neuron）之間的網路有關的優化困難，這是預料之外的。

11. 論文：我們需要數百種分類器來解決真實世界的分類問題嗎？（Do we need hundreds of classifiers to solve real world classification problems）

• 連結：http://suo.im/2w14RK

• 作者：Amorim, D.G., Barro, S., Cernadas, E., & Delgado, M.F. (2014). Journal of Machine Learning Research

• 資料：引用：387、HIC：3、CV：0

• 摘要：我們評估了來自 17 個「家族」（判別分析、貝葉斯、神經網路、支援向量機、決策樹、基於規則的分類器、提升、裝袋、堆疊、隨機森林、整合方法、廣義線性模型、最近鄰、部分最小二乘和主成分迴歸、邏輯和多項迴歸、多元自適應迴歸樣條法等）的 179 個分類器。我們使用了來自 UCI 資料庫中的 121 個數據集來研究分類器行為，這些行為不依賴於所選取的資料集。最終勝出的是使用 R 語言實現的隨機森林方法和 C 中使用 LibSVM 實現的帶有高斯核心的 SVM。

12. 論文：知識庫：一種概率知識融合的網路規模方法（Knowledge vault: a web-scale approach to probabilistic knowledge fusion）

• 連結：http://suo.im/3qCSs6

• 作者：Dong, X., Gabrilovich, E., Heitz, G., Horn, W., Lao, N., Murphy, K., ... & Zhang, W.(2014, August). In Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining ACM

• 資料：引用：334、HIC：7、CV：107

• 摘要：我們引入了一個網路規模的概率知識庫，它將網頁內容提取（通過文字分析、表格資料、頁面結構和人工註釋獲得）與來自現存知識庫中的先驗知識相結合，以構建新知識庫。我們部署監督學習方法去融合不同的資訊源。該知識庫比先前釋出的任何結構化知識庫大得多，並且具有概率推理系統，該概率推理系統能計算事實準確性的校準概率。

13. 論文：用於高維資料的可擴充套件最近鄰演算法（Scalable Nearest Neighbor Algorithms for High Dimensional Data）

• 連結：http://suo.im/hjTa4

• 作者：Lowe, D.G., & Muja, M. (2014). IEEE Trans. Pattern Anal. Mach. Intell.

• 資料：引用：324、HIC：11、CV：69

• 摘要：我們提出了用於近似最近鄰匹配的新演算法，並將其與以前的演算法進行比較。為了將其擴充套件到大型資料集（不適合單機的儲存處理）上，我們提出了一種分散式最近鄰匹配框架，該框架可以與論文中描述的任何演算法一起使用。

14. 論文：回顧超限學習機的發展趨勢（Trends in extreme learning machines: a review）

• 連結：http://suo.im/3WSEQi

• 作者：Huang, G., Huang, G., Song, S., & You, K. (2015). Neural Networks

• 資料：引用：323、HIC：0、CV：0

• 摘要：我們的目標是報告超限學習機（ELM）的理論研究和實踐進展所處的現狀。除了分類和迴歸，ELM 最近已經被擴充套件到叢集、特徵選擇、代表性學習和許多其他學習任務。由於其驚人的高效性、簡單性和令人印象深刻的泛化能力，ELM 已經被廣泛用於各種領域，如生物醫學工程、計算機視覺、系統識別、控制和機器人。

15. 論文：一份關於概念漂移適應的調查（A survey on concept drift adaptation）

• 連結：http://suo.im/3bQkiz

• 作者：Bifet, A., Bouchachia, A., Gama, J., Pechenizkiy, M., & Zliobaite, I. ACM Comput. Surv., 2014

• 資料：引用：314、HIC：4、CV：23

• 摘要：該文全面介紹了概念漂移適應。它指的是當輸入資料與目標變數之間的關係隨時間變化之時的線上監督學習場景。

16. 論文：深度卷積啟用特徵的多尺度無序池化（Multi-scale Orderless Pooling of Deep Convolutional Activation Features）

• 連結：http://suo.im/3gNw8e

• 作者：Gong, Y., Guo, R., Lazebnik, S., & Wang, L. (2014). ECCV

• 資料：引用：293、HIC：23、CV：95

• 摘要：為了在不降低其辨別力的同時改善卷積神經網路啟用特徵的不變性，本文提出了一種簡單但有效的方案：多尺度無序池化（MOP-CNN）。

17. 論文：同時檢測和分割（Simultaneous Detection and Segmentation）

• 連結：http://suo.im/4b0ye0

• 作者：Arbeláez, P.A., Girshick, R.B., Hariharan, B., & Malik, J. (2014) ECCV

• 資料：引用：286、HIC：23、CV：94

• 摘要：本文的目標是檢測影象中一個類別的所有例項，併為每個例項標記屬於它的畫素。我們稱將此任務稱為同時檢測和分割（SDS）。

18. 論文：一份關於特徵選擇方法的調查（A survey on feature selection methods）

• 連結：http://suo.im/4BDdKA

• 作者：Chandrashekar, G., & Sahin, F. Int. J. on Computers & Electrical Engineering

• 資料：引用：279、HIC：1、CV：58

• 摘要：在文獻中，有許多特徵選擇方法可用，由於某些資料集具有數百個可用的特徵，這會導致資料具有非常高的維度。

19. 論文：用迴歸樹整合方法在一毫秒內實現人臉校準（One Millisecond Face Alignment with an Ensemble of Regression Trees）

• 連結：http://suo.im/1iFyub

• 作者：Kazemi, Vahid, and Josephine Sullivan, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2014

• 資料：引用：277、HIC：15、CV：0

• 摘要：本文解決了單個影象的人臉校準問題。我們展示了怎樣使用迴歸樹整合來直接從畫素強度的稀疏子集估計面部的地標位置，並通過高質量的預測實現了超實時效能。

20. 論文：關於作為混合系統的多分類器系統的調查（A survey of multiple classifier systems as hybrid systems）

• 連結：http://suo.im/3c9EFD

• 作者：Corchado, E., Graña, M., & Wozniak, M. (2014). Information Fusion, 16, 3-17.

• 資料：引用：269、HIC：1、CV：22

• 摘要：模式分類領域目前關注的焦點是幾種分類器系統的組合，構建這些分類器系統可以使用相同或者不同的模型和／或資料集構建。

原文地址：http://www.kdnuggets.com/2017/04/top-20-papers-machine-learning.html