2016 ICLR 大會精華回顧：塑造人工智慧未來的研究

  深度學習，你往何處去？
  神經網路壓縮將會成為一個大話題——因為現實應用要求我們這麼做。演算法研究人員可不會等到 TPU 和 VPU 成為主流的時候才這麼做。能夠解讀影象的深度網路，將存在於每一個內建照相機的裝置中。事實上，到 2020 年我看不出照相機不能夠生成高質量的 RGB 圖片和神經網路向量。新的圖片格式甚至會有類似於「深度分析向量」與圖片同時儲存。而這一定會成為一個神經網路，不論以什麼結構。

應用角度，傳統機器學習轉變為深度學習

  1）視覺識別
  以前的做法是做特徵工程，然後在最後面、最頂層用了一點點機器學習（比如SVM）。後來，我們（在卷積網路架構家族中）開發出了新的識別原理，找到了強大得多的影象分析程式；近期我們也已經開始探索更多的網路架構。

  2）語音識別
  以前需要很多的預處理、高斯混合模型以及隱馬爾可夫模型，但今天幾乎全都是由神經網路搞定的。

  3）語音生成
  歷史上人們用過各種各樣的音素拼接方式，而現在的頂級模型都是大規模卷積神經網路（比如WaveNet），它們可以直接生成原始的音訊訊號輸出。

  4）機器翻譯
  以往的通常做法是用一些基於短語的統計學技巧，但神經網路的方法很快就成為了主流。我自己最喜歡的架構是在多語言設定下訓練的，不僅單獨一個模型就可以從任意源語言翻譯到任意目標語言，而且還可以是弱監督（甚至完全無監督）的。

  5）機器人
  這個領域的傳統一直是把問題分解為感知、位姿預測、規劃、控制、不確定建模等等模組，在中間層表徵之上運用顯式表徵和演算法。雖然完全離解決問題還有相當的距離，但UC伯克利和谷歌的研究人員都通過種種證據表明軟體2.0可能會在表徵所有這些程式碼上發揮出好得多的作用。

  6）遊戲
  下圍棋的程式已經存在了很久了，但是AlphaGo Zero（能夠直接觀察棋盤狀態並下出一步棋的卷積神經網路）已經成為了目前最強的圍棋棋手。我預計我們還能在其它領域看到非常類似的結果，比如DOTA2或者星際爭霸。

2016年AI大事件

  1）3月9-15日，棋壇新秀AlphaGo一戰成名；
  2）深度增強學習DQN提出；
  3）Google在今年5月18日Google I/O大會上宣佈了加速機器學習的定製ASIC方案：張量處理單元（TPU）。

  4）自動駕駛方面：
  10月20日，馬斯克宣佈所有特斯拉（Tesla）新車將裝備具有全自動駕駛功能的硬體系統——Autopilot 2.0；
  在11月16日開幕的第三屆世界網際網路大會上，百度無人車再次亮相。百度無人車，大會期間，18輛百度無人車在桐鄉市子夜路智慧汽車和智慧交通示範區內首次進行開放城市道路運營。"

  5）顯示卡：9月13日，NVIDIA在GTC中國北京站釋出了Tesla P4和P40，全新的Pascal架構。TensorRT是一個提供更快響應時間的神經網路預測引擎，適合深度學習應用產品上線部署。

  6）一年前，Google就將TensorFlow完全開源。半年前，Google釋出了專門加速TensorFlow的硬體TPU。
  7）Facebook於11月8日宣佈將深度學習系統Caffe2Go開源，可以完全執行在智慧手機上，目的是讓開發者更容易接觸到人工智慧。

  總之，2016年是“智慧駕駛元年”、“人工智慧硬體元年”、“增強學習元年”、“嵌入式人工智慧元年”。