作者：Pedro Lopez，資料科學家，從事金融與商業智慧

深度學習是機器學習和統計學交叉領域的一個子集，在過去的幾年裡得到快速的發展。強大的開源工具以及大資料爆發使其取得令人驚訝的突破進展。本文根據微軟學術（academic.microsoft.com）的引用量作為評價指標，從中選取了20篇頂尖論文。注意，引用量會隨著時間發生快速的變化，本文參考的是本文發表時候的引用量。

在這份清單中，超過75%的文章都提到了深度學習和神經網路，尤其是卷積神經網路（CNN），其中，50%的文章是計算機領域模式識別應用。隨著硬體效能、資料量及開源工具的發展，使用基於GPU的工具箱，如TensorFlow、Theano等，有利於資料科學家和機器學習工程師擴充套件相應的應用領域。

1.Deep Learning，Yann L., Yoshua B. & Geoffrey H. (2015) (引用量: 5,716)

本文是深度學習大牛Hinton的開山之作，引用量高達5700多次。在這篇文章中，提出了深度學習的方法，它允許由多個處理層組成的計算模型來學習具有多個抽象層次的資料表示。這些方法極大地促進了語言識別、視覺物體識別、目標檢測以及藥物發現、基因組合燈許多領域的進展。

論文地址：

https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf?spm=a2c4e.11153940.blogcont576283.17.3ac27677LdbpjU&file=NatureDeepReview.pdf

2.TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems, by Martín A., Ashish A. B., Eugene B. C., et al. (2015) (引用量: 2,423)

這篇文章釋出了TensorFlow工具箱，該工具箱使用非常靈活，十分受研究者的追捧，很多研究者認為該工具箱在之後的研究中會佔據主導地位。TensorFlow可以用來表示各種各樣的演算法，包括深層神經網路模型以及推理演算法等。TensorFlow已經被用於研究，並將計算機學習系統部署到電腦科學和其它的多個領域，包括語言識別、計算機視覺、機器人、資訊檢索、自然語言處理、地理資訊提取等。

論文地址：

http://download.tensorflow.org/paper/whitepaper2015.pdf?spm=a2c4e.11153940.blogcont576283.18.3ac27677XarSxP&file=whitepaper2015.pdf

3.TensorFlow: a system for large-scale machine learning, by Martín A., Paul B., Jianmin C., Zhifeng C., Andy D. et al. (2016) (引用量: 2,227)

TensorFlow支援各種應用，對深層神經網路的訓練和推理能力成為了研究者的關注點。谷歌在其一些產品中使用了TensorFlow，並將其公開為一個開源專案，目前已被廣泛用於機器學習的研究中。

論文地址：

https://www.usenix.org/legacy/system/files/conference/osdi16/osdi16-abadi.pdf%20rel=?spm=a2c4e.11153940.blogcont576283.19.3ac27677wXFSLT&file=osdi16-abadi.pdf%20rel=

4.Deep learning in neural networks, by Juergen Schmidhuber (2015) (引用量: 2,196)

這篇文中是一個綜述類文章，總結了深度學習和神經網路的發展歷史。淺層和深層學習器是通過網路層數的數量區分，並且詳細講解了有監督學習（簡要介紹反向傳播演算法的歷史）、無監督學習、強化學習、進化計算以及深層編碼網路。

論文地址：

https://arxiv.org/pdf/1404.7828.pdf?spm=a2c4e.11153940.blogcont576283.20.3ac27677wM2vCk&file=1404.7828.pdf

5.Human-level control through deep reinforcement learning, by Volodymyr M., Koray K., David S., Andrei A. R., Joel V et al (2015) (引用量: 2,086)

這篇文章主要是使用深層神經網路的最新進展——強化學習，並訓練了一種新穎且智慧的代理，被稱為Q網路。Q網路使用端到端強化學習直接從高維感官輸入學習到成功的策略，並使用經典遊戲Atari 2600對其進行測試，結果表明其效果非常好。

論文地址：

https://web.stanford.edu/class/psych209/Readings/MnihEtAlHassibis15NatureControlDeepRL.pdf?spm=a2c4e.11153940.blogcont576283.21.3ac27677khlbo4&file=MnihEtAlHassibis15NatureControlDeepRL.pdf

6.Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks, by Shaoqing R., Kaiming H., Ross B. G. & Jian S. (2015) (引用量: 1,421)

這篇文章的主要工作是引入了區域推薦網路（RPN），該網路能夠與檢測網路共享全影象卷積特徵，從而使無成本的區域推薦成為可能。一個RPN網路是一個全卷積網路，同時預測每個位置物件的範圍和其分數。

論文地址：

https://arxiv.org/pdf/1506.01497.pdf?spm=a2c4e.11153940.blogcont576283.22.3ac276779Ttljn&file=1506.01497.pdf

7.Long-term recurrent convolutional networks for visual recognition and description, by Jeff D., Lisa Anne H., Sergio G., Marcus R., Subhashini V. et al. (2015) (引用量: 1,285)

與當前假設固定時空感受野或簡單時間平均序列的模型處理相比而言，遞迴卷積模型是“雙份深度”，這是由於該模型是“時間層”和“空間層”的組合。

論文地址：

https://arxiv.org/pdf/1411.4389.pdf?spm=a2c4e.11153940.blogcont576283.23.3ac27677bXpou7&file=1411.4389.pdf

8.MatConvNet: Convolutional Neural Networks for MATLAB, by Andrea Vedaldi & Karel Lenc (2015) (引用量: 1,148)

本文是針對MATLAB開發的深度學習工具箱，它揭露了CNN模型也可以通過簡單使用MATLAB函式完成搭建。該工具箱提供了卷積層、池化層等功能。該文件簡單介紹了CNN，並說明如何在matconvnet工具箱中實現模型的搭建，並給出了每個計算塊的技術細節。

論文地址：

https://arxiv.org/pdf/1412.4564.pdf?spm=a2c4e.11153940.blogcont576283.24.3ac27677k3MDgU&file=1412.4564.pdf

9.Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, by Alec R., Luke M. & Soumith C. (2015) (引用量: 1,054)

在這篇文章中，希望通過CNN縮小有監督學習和無監督學習二者之間的差距。引入了一類新的CNN模型，被稱作深層卷積生成對抗網路（DCGANs）。該網路具有一定體系結構約束，也被證明是無監督學習問題中一種有效方法。

論文地址：

https://arxiv.org/pdf/1511.06434.pdf?spm=a2c4e.11153940.blogcont576283.25.3ac276771TzGAy&file=1511.06434.pdf

10.U-Net: Convolutional Networks for Biomedical Image Segmentation, by Olaf R., Philipp F. &Thomas B. (2015) (引用量: 975)

對於深度學習而言，人們大多有個共識——深層網路訓練成功需要依賴於大量的訓練樣本。而在本篇文章中，提出了一種新的網路和訓練策略，其訓練策略依賴於資料增強，使其可以更高效地使用現有樣本。

論文地址：

https://arxiv.org/pdf/1505.04597.pdf?spm=a2c4e.11153940.blogcont576283.26.3ac276770IHiyG&file=1505.04597.pdf

11.Conditional Random Fields as Recurrent Neural Networks, by Shuai Z., Sadeep J., Bernardino R., Vibhav V. et al (2015) (引用量: 760)

在這篇文章中，引入了一種新的模型，它將卷積神經網路（CNN）與條件隨機場（CRF）二者的優點相結合，構造出RNN網路。

論文地址：

http://www.robots.ox.ac.uk/~szheng/papers/CRFasRNN.pdf?spm=a2c4e.11153940.blogcont576283.27.3ac27677wwmxH5&file=CRFasRNN.pdf

12.Image Super-Resolution Using Deep Convolutional Networks, by Chao D., Chen C., Kaiming H. & Xiaoou T. (2014) (引用量: 591)

這篇文章採用方法是直接學習低解析度到高解析度影象的端到端對映，該對映被表示為一個深層卷積神經網路（CNN），它以低解析度影象作為輸入，輸出的是高解析度影象。

論文地址：

https://arxiv.org/pdf/1501.00092.pdf?spm=a2c4e.11153940.blogcont576283.28.3ac27677uoRVt5&file=1501.00092.pdf

13.Beyond short snippets: Deep networks for video classification, by Joe Y. Ng, Matthew J. H., Sudheendra V., Oriol V., Rajat M. & George T. (2015) (引用量: 533)

在這篇文章中，提出了將CNN與LSTM結合在一起對視訊資料進行特徵提取，單幀的影象資訊通過CNN獲取特徵，然後將CNN的輸出按時間順序通過LSTM，最終將視訊資料在空間和時間維度上進行了特徵表達。

論文地址：

https://arxiv.org/pdf/1503.08909.pdf?spm=a2c4e.11153940.blogcont576283.29.3ac27677qJnF3L&file=1503.08909.pdf

14.Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning, by Christian S., Sergey I., Vincent V. & Alexander A A. (2017) (引用量: 520)

卷積網路變得越來越深，網路模型也變得越來越複雜。谷歌公司提出的Inception-v4網路結構是近年來影象識別領域取得的最大進展。該網路結構具有三個殘差網路和一個Inception-v4結構單元。在ImageNet挑戰賽（CLS）top-5中實現3.08%的錯誤率。

論文地址：

https://arxiv.org/pdf/1602.07261.pdf?spm=a2c4e.11153940.blogcont576283.30.3ac27677uhbfsE&file=1602.07261.pdf

15.Salient Object Detection: A Discriminative Regional Feature Integration Approach, by Huaizu J., Jingdong W., Zejian Y., Yang W., Nanning Z. & Shipeng Li. (2013) (引用量: 518)

在這篇文章中，將顯著圖計算轉化為一個迴歸問題。採用的方法是基於多層次的影象分割，並利用監督學習方法將區域特徵向量對映為一個顯著性分數。

論文地址：

https://arxiv.org/pdf/1410.5926.pdf?spm=a2c4e.11153940.blogcont576283.31.3ac27677YZbKox&file=1410.5926.pdf

16.Visual Madlibs: Fill in the Blank Description Generation and Question Answering, by Licheng Y., Eunbyung P., Alexander C. B. & Tamara L. B. (2015) (引用量: 510)

在這篇文章中，介紹了一個新的資料集——Visual Madlibs。該資料集包含360001個針對10738幅影象的自然語言描述，它是在空白模板中利用自動生成進行收集，收集的是有針對性的描述，比如人和物體、外貌、活動和互動、以及對一般場景或更廣闊背景的推論。

論文地址：

https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Yu_Visual_Madlibs_Fill_ICCV_2015_paper.pdf?spm=a2c4e.11153940.blogcont576283.32.3ac27677NTzhEK&file=Yu_Visual_Madlibs_Fill_ICCV_2015_paper.pdf

17.Asynchronous methods for deep reinforcement learning, by Volodymyr M., Adrià P. B., Mehdi M., Alex G., Tim H. et al. (2016) (引用量: 472)

A3C演算法是AC演算法的非同步變體，在Atari領域是最先進的演算法。訓練時候採用的多核CPU，而不是單個GPU，節約了一半的時間。此外，還發現A3C演算法在各種各樣的連續電機控制問題上效能表現優異。

論文地址：

http://proceedings.mlr.press/v48/mniha16.pdf?spm=a2c4e.11153940.blogcont576283.33.3ac27677kBRXJT&file=mniha16.pdf

18.Theano: A Python framework for fast computation of mathematical expressions., by by Rami A., Guillaume A., Amjad A., Christof A. et al (2016) (引用量: 451)

Theano是一個Python庫，它允許使用者定義、優化以及有效地評估涉及多維陣列的數學表示式。自推出以來，它一直是最常用的CPU和GPU數學編譯器，尤其是在機器學習社群中顯示出其效能的穩定提升。

論文地址：

https://arxiv.org/pdf/1605.02688.pdf?spm=a2c4e.11153940.blogcont576283.34.3ac27677blRucu&file=1605.02688.pdf

19.Deep Learning Face Attributes in the Wild, by Ziwei L., Ping L., Xiaogang W. & Xiaoou T. (2015) (引用量: 401)

該框架不僅大大提升了系統的效能，而且表明了學習人臉表徵是有價值的事實。（1）展示了人臉定位（LNET）和屬性預測（ANET）可以通過不同的預訓練方法改進；（2）儘管只微調了LNet過濾器，但它們在整個影象上的響應圖對人臉位置有很強的指示性。

論文地址：

https://www.cv-foundation.org/openaccess/content_iccv_2015/papers/Liu_Deep_Learning_Face_ICCV_2015_paper.pdf?spm=a2c4e.11153940.blogcont576283.35.3ac27677CwhXcF&file=Liu_Deep_Learning_Face_ICCV_2015_paper.pdf

20.Character-level convolutional networks for text classification, by Xiang Z., Junbo Jake Z. & Yann L. (2015) (引用量: 401)

這篇文章使用字元級卷積神經網路（Char-CNN）實現文字的分類，並構建了幾個大規模資料集，實驗結果表明，字元級卷積神經網路可以實現很好的效能。

論文地址：

http://papers.nips.cc/paper/5782-character-level-convolutional-networks-for-text-classification.pdf?spm=a2c4e.11153940.blogcont576283.36.3ac276778WChsu&file=5782-character-level-convolutional-networks-for-text-classification.pdf