乾貨丨2017年AI與深度學習要點大全
2017已經正式離我們遠去~ ~ ~
部落格WILDML的作者、曾在Google Brain做了一年Resident的Denny Britz，就把他眼中的2017年AI和深度學習的大事，進行了一番梳理彙總。
強化學習稱霸人類遊戲
如果說2016年AlphaGo擊敗李世乭之後，大家對它的棋壇地位還有些許懷疑的話，2017年擊敗柯潔，讓它成了毫無疑問的圍棋霸主。
作為一個強化學習Agent，它的第一個版本使用了來自人類專家的訓練資料，然後通過自我對局和蒙特卡洛樹搜尋的改進來進化。
不久之後，AlphaGo Zero更進一步，使用了之前一篇論文Thinking Fast and Slow with Deep Learning and Tree Search提出的技術，從零開始下圍棋，在訓練中沒有用到人類對局的資料。
如果說2016年AlphaGo擊敗李世乭之後，大家對它的棋壇地位還有些許懷疑的話，2017年擊敗柯潔，讓它成了毫無疑問的圍棋霸主。
作為一個強化學習Agent，它的第一個版本使用了來自人類專家的訓練資料，然後通過自我對局和蒙特卡洛樹搜尋的改進來進化。
不久之後，AlphaGo Zero更進一步，使用了之前一篇論文Thinking Fast and Slow with Deep Learning and Tree Search提出的技術，從零開始下圍棋，在訓練中沒有用到人類對局的資料。
相關論文：
AlphaGo
https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf
AlphaGo Zero
https://www.nature.com/articles/nature24270.epdf
AlphaZero
https://arxiv.org/abs/1712.01815
Thinking Fast and Slow with Deep Learning and Tree Search
https://arxiv.org/abs/1705.08439
AI今年取得重大進展的遊戲不止圍棋。CMU研究人員的Libratus（冷撲大師）在20天的一對一無限注德州撲克比賽中，擊敗了人類頂級撲克玩家。
再早些時候，查爾斯大學、捷克技術大學和加拿大阿爾伯塔大學開發的DeepStack，首先擊敗了專業德撲玩家。
有一點值得注意，這兩個程式玩的都是一對一撲克，也就是兩名玩家之間的對局，這比多人遊戲更容易。2018年，我們很可能看到演算法在多玩家撲克上取得一些進步。
Libratus論文：
http://science.sciencemag.org/content/early/2017/12/15/science.aao1733.full
用強化學習玩人類遊戲的下一個領域，似乎是更復雜的多人遊戲，除了多人撲克之外，還有星際爭霸、DotA等等。DeepMind正在積極研究星際爭霸2，釋出了相關的研究環境。
星際爭霸2研究環境
而OpenAI在DotA中單比賽中取得了初步的成功，玩轉5v5遊戲，是他們的下一步目標
進化演算法迴歸
對於監督學習來說，基於梯度的反向傳播演算法已經非常好，而且這一點可能短期內不會有什麼改變。
然而，在強化學習中，進化策略（Evolution Strategies, ES）似乎正在東山再起。因為強化學習的資料通常不是lid（獨立同分布）的，錯誤訊號更加稀疏，而且需要探索，不依賴梯度的演算法表現很好。另外，進化演算法可以線性擴充套件到數千臺機器，實現非常快的平行訓練。它們不需要昂貴的GPU，但可以在成百上千便宜的CPU機器上進行訓練。
2017年早些時候，OpenAI的研究人員證明了進化策略實現的效能，可以與Deep Q-Learning等標準強化學習演算法相媲美。
相關論文：
https://arxiv.org/abs/1703.03864
年底，Uber內部一個團隊又連發5篇論文，來展示遺傳演算法和新穎性搜尋的潛力。他們使用非常簡單的遺傳演算法，沒有任何梯度資訊，學會了玩各種雅達利遊戲。他們的進化演算法在Frostbite遊戲中達到了10500分，而DQN、AC3、ES等演算法在同樣的遊戲中得分都不到1000。
很可能，2018年我們會在這個方向看到更多的工作。
WaveNets，CNNs以及注意力機制
谷歌的Tacotron 2文字轉語音系統效果令人印象深刻。這個系統基於WaveNet，也是一種自動迴歸模型，也被部署於Google Assistant之中，並在過去一年得到快速提升。
遠離昂貴且訓練漫長的迴歸架構是一個更大的趨勢。在論文Attention is All you Need裡，研究人員完全擺脫了迴圈和卷積，使用一個更復雜的注意力機制，只用了很小的訓練成本，就達到了目前最先進的結果。
論文地址：https://arxiv.org/abs/1706.03762
深度學習框架這一年
如果非要用一句話總結2017，那隻能說是框架之年。
Facebook搞出了PyTorch，這個框架得到了搞自然語言處理的研究人員大愛。
TensorFlow在2017年繼續領跑，目前已經發布到1.4.1版本。除了主框架之外，還發布了多個伴隨庫。TensorFlow團隊還發布了一個全新的eager execution模式，類似PyTorch的動態計算圖。此外：
蘋果釋出了CoreML移動機器學習庫；
Uber的一個團隊釋出了Pyro，一個深度概率程式語言；
亞馬遜宣佈在MXNet上提供更高級別的API Gluon；
Uber釋出了內部米開朗基羅機器學習基礎設施平臺的詳情；
由於框架已經太多，Facebook和微軟宣佈推出ONNX開放格式，以便跨框架共享深度學習模型。
除了通用的深度學習框架外，我們還看到大量的強化學習框架釋出：
OpenAI Roboschool，用於機器人模擬
OpenAI Baselines，一套強化學習演算法的高質量實現
Tensorflow Agents，用TensorFlow來訓練RL智慧體
Unity ML Agents，研究人員可用Unity Editor來建立遊戲，並展開強化訓練
Nervana Coach，用最先進的強化學習演算法進行試驗
Facebook ELF，遊戲研究平臺
DeepMind Pycolab，定製化的遊戲引擎
Geek.ai MAgent，多智慧體強化學習平臺
為了讓深度學習更易普及，還有一些面向web的框架，例如谷歌的deeplearn.js和MIL WebDNN執行框架。
2017，還有一個流行框架跟我們告別了，那就是Theano。
學習資源
隨著深度學習和強化學習越來越流行，2017年有越來越多的課程、訓練營等活動舉行並分享到網上。以下是我最愛的一些。
Deep RL Bootcamp，由OpenAI和UC Berkeley聯合主辦，主要講授關於強化學習的基礎知識和最新研究成果
斯坦福視覺識別卷積神經網路課程2017春季版
斯坦福自然語言處理與深度學習課程2017冬季版
斯坦福的深度學習理論課程
Coursera上最新的深度學習課程
蒙特利爾深度學習和強化學習暑期學校
UC Berkeley的深度強化學習課程2017秋季版
TensorFlow開發者大會上關於深度學習和TensorFlow API相關的內容
幾大學術會議，延續了在網上釋出會議內容的新傳統。如果你想趕上最尖端的研究，可以檢視這些頂級會議的錄影資料。NIPS 2017：
https://nips.cc/Conferences/2017/VideosICLR 2017：
https://www.facebook.com/pg/iclr.cc/videos/EMNLP 2017：
https://ku.cloud.panopto.eu/Panopto/Pages/Sessions/List.aspx
研究人員也開始在arXiv上釋出低門檻的教程和綜述論文。以下是過去一年我的最愛。
深度強化學習：概述
Deep Reinforcement Learning: An Overview給工程師的機器學習簡介
A Brief Introduction to Machine Learning for Engineers神經機器翻譯
Neural Machine Translation教程：神經機器翻譯和序列到序列模型
Neural Machine Translation and Sequence-to-sequence Models: A Tutorial應用：AI和醫學
2017年，有不少人宣稱用深度學習解決了醫療問題，而且還擊敗了人類專家。這其中有真正的突破，也有一些炒作。對這方面感興趣的話，推薦關注Luke Oakden-Rayner的人類醫生終結系列部落格：
https://lukeoakdenrayner.wordpress.com/2017/04/20/the-end-of-human-doctors-introduction/
這裡簡要介紹一些發展。其中最重要的事件包括：斯坦福的一個團隊公佈了用深度學習識別面板癌的演算法細節。
相關研究：https://cs.stanford.edu/people/esteva/nature/
另一個斯坦福的團隊則開發了一個模型，能比人類專家更好的發現心律失常。
相關研究：https://stanfordmlgroup.github.io/projects/ecg/
當然也有一些風波。例如DeepMind與NHS之間的問題；NIH釋出了一個不適合訓練AI的胸部X光片資料集等等。
應用：藝術和GAN
應用於影象、音樂、繪圖和視訊領域的生成模型，今年也越來越受到關注。NIPS 2017還首次推出了面向創意與設計的機器學習研討會
最流行的應用之一是谷歌的QuickDraw，使用神經網路來識別你的塗鴉。基於已經發布的資料集，你甚至可以讓機器幫你畫完草稿。一起去玩一下：
https://quickdraw.withgoogle.com/GAN今年取得了不少重大進展。例如CycleGAN、DiscoGAN、StarGAN等新模型在生成人臉方面令人印象深刻。GAN通常難以生成逼真的高解析度影象，但pix2pixHD改變了這種現狀。
相關地址：
CycleGAN
https://arxiv.org/abs/1703.10593
DiscoGAN
https://github.com/carpedm20/DiscoGAN-pytorch
StarGAN
https://github.com/yunjey/StarGAN應用：無人車
無人車領域的大玩家包括Uber、Lyft、Waymo和Tesla。Uber這一年都麻煩不斷，但是這家公司一直沒有停下在無人車方面的腳步。
Waymo在亞利桑那的鳳凰城進行了一系列無人車實驗，還公佈了測試和模擬技術的細節。Lyft正在建立自己的無人車硬體和軟體體系。特斯拉的Autopilot沒有太多更新。
當然還有一個“新的”入局者，庫克證實蘋果公司也在研究自動駕駛。
超酷的研究和應用
今年有很多好玩的專案和展示，這裡不可能提及所有：
通過深度學習去除背景
通過深度學習創造動漫角色
使用神經網路著色黑白照片
馬里奧賽車（SNES）由神經網路發揮
實時馬里奧卡丁車64 AI
使用深度學習發現偽造
隨手畫貓
在研究層面
資料集
神經網路需要大量的資料，因此開放資料集是對行業的重要貢獻。以下是今年幾個新推出的資料集代表。
深度學習，重現性和鍊金術
過去一年中，研究人員對學術論文結果的可復現性提出了擔憂。深度學習模型通常依賴於大量的超引數，必須對其進行優化才能獲得足夠好的結果。這種優化代價高昂，可能只有Google和Facebook才能負擔得起。
另外，研究人員並不總是同步公開程式碼，論文中有時還會漏掉重要的細節，或者使用特殊的評估方法……這些因素都讓可復現性成為一個大問題。
在論文Are GANs Created Equal? A Large-Scale Study中，使用昂貴的超引數搜尋調整GAN，可以擊敗更為複雜的方法。
論文地址：https://arxiv.org/abs/1711.10337
同樣，在論文On the State of the Art of Evaluation in Neural Language Models中，研究人員表明，簡單的LSTM架構在正確調整後，表現就能比最近的多數模型都好。
論文地址：https://arxiv.org/abs/1707.05589
在NIPS 2017大會上，阿里·拉希米稱現在的深度學習就像“鍊金術”，呼籲更為嚴謹的學術管理。不過Yann LeCun隨即進行了實名反擊。
競爭，炒作和失敗
加拿大和中國，正在加速AI方面的部署。硬體方面，AI晶片競爭提速，英偉達釋出了最新的Titan V旗艦GPU、Google釋出了第二代TPU、英特爾的Nervana也釋出了新的晶片。就連特斯拉也在開發AI硬體。另外，來自中國的競爭者也不容小覷。
宣傳非常重要，但有些宣傳和實驗室實際發生的事情不符。IBM沃森就是過度營銷的傳奇，並沒有帶來相符的結果。大家都不喜歡沃森，所以他們在醫療方面一再失敗也不奇怪。
Facebook的人工智慧發明了自己的語言那事，其實也跟真相不符。這不簡單是媒體的誤導，研究人員所用的標題和摘要也越了界，沒能反映實驗的實際結果。
Youtube Bounding Boxes
https://research.google.com/youtube-bbGoogle QuickDraw Data
https://quickdraw.withgoogle.com/dataDeepMind Open Source Datasets
https://deepmind.com/research/open-source/open-source-datasetsGoogle Speech Commands Dataset
https://research.googleblog.com/2017/08/launching-speech-commands-dataset.htmlAtomic Visual Actions
https://research.google.com/ava/Several updates to the Open Images data set
https://github.com/openimages/datasetNsynth dataset of annotated musical notes
https://magenta.tensorflow.org/datasets/nsyntQuora Question Pairs
https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs無監督情緒神經元- 一個可以學習情緒的系統，儘管只被亞馬遜訓練用於預測評論的下一個字元。
學會溝通 - 智慧體“開發”了自己的語言。
習得索引結構 - 使用神經網路優化快取記憶體B-Tree。
Attention is All You Need - Google推出的翻譯架構Transformer完全捨棄了RNN/CNN結構。
Mask R-CNN
Deep Image Prior，影象去噪、超解析度和修補。
</div>
2017已經正式離我們遠去~ ~ ~
部落格WILDML的作者、曾在Google Brain做了一年Resident的Denny Britz，就把他眼中的2017年AI和深度學習的大事，進行了一番梳理彙總。
強化學習稱霸人類遊戲
如果說2016年AlphaGo擊敗李世乭之後，大家對它的棋壇地位還有些許懷疑的話，2017年擊敗柯潔，讓它成了毫無疑問的圍棋霸主。
作為一個強化學習Agent，它的第一個版本使用了來自人類專家的訓練資料，然後通過自我對局和蒙特卡洛樹搜尋的改進來進化。
不久之後，AlphaGo Zero更進一步，使用了之前一篇論文Thinking Fast and Slow with Deep Learning and Tree Search提出的技術，從零開始下圍棋，在訓練中沒有用到人類對局的資料。
如果說2016年AlphaGo擊敗李世乭之後，大家對它的棋壇地位還有些許懷疑的話，2017年擊敗柯潔，讓它成了毫無疑問的圍棋霸主。
作為一個強化學習Agent，它的第一個版本使用了來自人類專家的訓練資料，然後通過自我對局和蒙特卡洛樹搜尋的改進來進化。
不久之後，AlphaGo Zero更進一步，使用了之前一篇論文Thinking Fast and Slow with Deep Learning and Tree Search提出的技術，從零開始下圍棋，在訓練中沒有用到人類對局的資料。
相關論文：
AlphaGo
https://storage.googleapis.com/deepmind-media/alphago/AlphaGoNaturePaper.pdf
AlphaGo Zero
https://www.nature.com/articles/nature24270.epdf
AlphaZero
https://arxiv.org/abs/1712.01815
Thinking Fast and Slow with Deep Learning and Tree Search
https://arxiv.org/abs/1705.08439
AI今年取得重大進展的遊戲不止圍棋。CMU研究人員的Libratus（冷撲大師）在20天的一對一無限注德州撲克比賽中，擊敗了人類頂級撲克玩家。
再早些時候，查爾斯大學、捷克技術大學和加拿大阿爾伯塔大學開發的DeepStack，首先擊敗了專業德撲玩家。
有一點值得注意，這兩個程式玩的都是一對一撲克，也就是兩名玩家之間的對局，這比多人遊戲更容易。2018年，我們很可能看到演算法在多玩家撲克上取得一些進步。
Libratus論文：
http://science.sciencemag.org/content/early/2017/12/15/science.aao1733.full
用強化學習玩人類遊戲的下一個領域，似乎是更復雜的多人遊戲，除了多人撲克之外，還有星際爭霸、DotA等等。DeepMind正在積極研究星際爭霸2，釋出了相關的研究環境。
星際爭霸2研究環境
而OpenAI在DotA中單比賽中取得了初步的成功，玩轉5v5遊戲，是他們的下一步目標
進化演算法迴歸
對於監督學習來說，基於梯度的反向傳播演算法已經非常好，而且這一點可能短期內不會有什麼改變。
然而，在強化學習中，進化策略（Evolution Strategies, ES）似乎正在東山再起。因為強化學習的資料通常不是lid（獨立同分布）的，錯誤訊號更加稀疏，而且需要探索，不依賴梯度的演算法表現很好。另外，進化演算法可以線性擴充套件到數千臺機器，實現非常快的平行訓練。它們不需要昂貴的GPU，但可以在成百上千便宜的CPU機器上進行訓練。
2017年早些時候，OpenAI的研究人員證明了進化策略實現的效能，可以與Deep Q-Learning等標準強化學習演算法相媲美。
相關論文：
https://arxiv.org/abs/1703.03864
年底，Uber內部一個團隊又連發5篇論文，來展示遺傳演算法和新穎性搜尋的潛力。他們使用非常簡單的遺傳演算法，沒有任何梯度資訊，學會了玩各種雅達利遊戲。他們的進化演算法在Frostbite遊戲中達到了10500分，而DQN、AC3、ES等演算法在同樣的遊戲中得分都不到1000。
很可能，2018年我們會在這個方向看到更多的工作。
WaveNets，CNNs以及注意力機制
谷歌的Tacotron 2文字轉語音系統效果令人印象深刻。這個系統基於WaveNet，也是一種自動迴歸模型，也被部署於Google Assistant之中，並在過去一年得到快速提升。
遠離昂貴且訓練漫長的迴歸架構是一個更大的趨勢。在論文Attention is All you Need裡，研究人員完全擺脫了迴圈和卷積，使用一個更復雜的注意力機制，只用了很小的訓練成本，就達到了目前最先進的結果。
論文地址：https://arxiv.org/abs/1706.03762
深度學習框架這一年
如果非要用一句話總結2017，那隻能說是框架之年。
Facebook搞出了PyTorch，這個框架得到了搞自然語言處理的研究人員大愛。
TensorFlow在2017年繼續領跑，目前已經發布到1.4.1版本。除了主框架之外，還發布了多個伴隨庫。TensorFlow團隊還發布了一個全新的eager execution模式，類似PyTorch的動態計算圖。此外：
蘋果釋出了CoreML移動機器學習庫；
Uber的一個團隊釋出了Pyro，一個深度概率程式語言；
亞馬遜宣佈在MXNet上提供更高級別的API Gluon；
Uber釋出了內部米開朗基羅機器學習基礎設施平臺的詳情；
由於框架已經太多，Facebook和微軟宣佈推出ONNX開放格式，以便跨框架共享深度學習模型。
除了通用的深度學習框架外，我們還看到大量的強化學習框架釋出：
OpenAI Roboschool，用於機器人模擬
OpenAI Baselines，一套強化學習演算法的高質量實現
Tensorflow Agents，用TensorFlow來訓練RL智慧體
Unity ML Agents，研究人員可用Unity Editor來建立遊戲，並展開強化訓練
Nervana Coach，用最先進的強化學習演算法進行試驗
Facebook ELF，遊戲研究平臺
DeepMind Pycolab，定製化的遊戲引擎
Geek.ai MAgent，多智慧體強化學習平臺
為了讓深度學習更易普及，還有一些面向web的框架，例如谷歌的deeplearn.js和MIL WebDNN執行框架。
2017，還有一個流行框架跟我們告別了，那就是Theano。
學習資源
隨著深度學習和強化學習越來越流行，2017年有越來越多的課程、訓練營等活動舉行並分享到網上。以下是我最愛的一些。
Deep RL Bootcamp，由OpenAI和UC Berkeley聯合主辦，主要講授關於強化學習的基礎知識和最新研究成果
斯坦福視覺識別卷積神經網路課程2017春季版
斯坦福自然語言處理與深度學習課程2017冬季版
斯坦福的深度學習理論課程
Coursera上最新的深度學習課程
蒙特利爾深度學習和強化學習暑期學校
UC Berkeley的深度強化學習課程2017秋季版
TensorFlow開發者大會上關於深度學習和TensorFlow API相關的內容
幾大學術會議，延續了在網上釋出會議內容的新傳統。如果你想趕上最尖端的研究，可以檢視這些頂級會議的錄影資料。NIPS 2017：
https://nips.cc/Conferences/2017/VideosICLR 2017：
https://www.facebook.com/pg/iclr.cc/videos/EMNLP 2017：
https://ku.cloud.panopto.eu/Panopto/Pages/Sessions/List.aspx
研究人員也開始在arXiv上釋出低門檻的教程和綜述論文。以下是過去一年我的最愛。
深度強化學習：概述
Deep Reinforcement Learning: An Overview給工程師的機器學習簡介
A Brief Introduction to Machine Learning for Engineers神經機器翻譯
Neural Machine Translation教程：神經機器翻譯和序列到序列模型
Neural Machine Translation and Sequence-to-sequence Models: A Tutorial應用：AI和醫學
2017年，有不少人宣稱用深度學習解決了醫療問題，而且還擊敗了人類專家。這其中有真正的突破，也有一些炒作。對這方面感興趣的話，推薦關注Luke Oakden-Rayner的人類醫生終結系列部落格：
https://lukeoakdenrayner.wordpress.com/2017/04/20/the-end-of-human-doctors-introduction/
這裡簡要介紹一些發展。其中最重要的事件包括：斯坦福的一個團隊公佈了用深度學習識別面板癌的演算法細節。
相關研究：https://cs.stanford.edu/people/esteva/nature/
另一個斯坦福的團隊則開發了一個模型，能比人類專家更好的發現心律失常。
相關研究：https://stanfordmlgroup.github.io/projects/ecg/
當然也有一些風波。例如DeepMind與NHS之間的問題；NIH釋出了一個不適合訓練AI的胸部X光片資料集等等。
應用：藝術和GAN
應用於影象、音樂、繪圖和視訊領域的生成模型，今年也越來越受到關注。NIPS 2017還首次推出了面向創意與設計的機器學習研討會
最流行的應用之一是谷歌的QuickDraw，使用神經網路來識別你的塗鴉。基於已經發布的資料集，你甚至可以讓機器幫你畫完草稿。一起去玩一下：
https://quickdraw.withgoogle.com/GAN今年取得了不少重大進展。例如CycleGAN、DiscoGAN、StarGAN等新模型在生成人臉方面令人印象深刻。GAN通常難以生成逼真的高解析度影象，但pix2pixHD改變了這種現狀。
相關地址：
CycleGAN
https://arxiv.org/abs/1703.10593
DiscoGAN
https://github.com/carpedm20/DiscoGAN-pytorch
StarGAN
https://github.com/yunjey/StarGAN應用：無人車
無人車領域的大玩家包括Uber、Lyft、Waymo和Tesla。Uber這一年都麻煩不斷，但是這家公司一直沒有停下在無人車方面的腳步。
Waymo在亞利桑那的鳳凰城進行了一系列無人車實驗，還公佈了測試和模擬技術的細節。Lyft正在建立自己的無人車硬體和軟體體系。特斯拉的Autopilot沒有太多更新。
當然還有一個“新的”入局者，庫克證實蘋果公司也在研究自動駕駛。
超酷的研究和應用
今年有很多好玩的專案和展示，這裡不可能提及所有：
通過深度學習去除背景
通過深度學習創造動漫角色
使用神經網路著色黑白照片
馬里奧賽車（SNES）由神經網路發揮
實時馬里奧卡丁車64 AI
使用深度學習發現偽造
隨手畫貓
在研究層面
資料集
神經網路需要大量的資料，因此開放資料集是對行業的重要貢獻。以下是今年幾個新推出的資料集代表。
深度學習，重現性和鍊金術
過去一年中，研究人員對學術論文結果的可復現性提出了擔憂。深度學習模型通常依賴於大量的超引數，必須對其進行優化才能獲得足夠好的結果。這種優化代價高昂，可能只有Google和Facebook才能負擔得起。
另外，研究人員並不總是同步公開程式碼，論文中有時還會漏掉重要的細節，或者使用特殊的評估方法……這些因素都讓可復現性成為一個大問題。
在論文Are GANs Created Equal? A Large-Scale Study中，使用昂貴的超引數搜尋調整GAN，可以擊敗更為複雜的方法。
論文地址：https://arxiv.org/abs/1711.10337
同樣，在論文On the State of the Art of Evaluation in Neural Language Models中，研究人員表明，簡單的LSTM架構在正確調整後，表現就能比最近的多數模型都好。
論文地址：https://arxiv.org/abs/1707.05589
在NIPS 2017大會上，阿里·拉希米稱現在的深度學習就像“鍊金術”，呼籲更為嚴謹的學術管理。不過Yann LeCun隨即進行了實名反擊。
競爭，炒作和失敗
加拿大和中國，正在加速AI方面的部署。硬體方面，AI晶片競爭提速，英偉達釋出了最新的Titan V旗艦GPU、Google釋出了第二代TPU、英特爾的Nervana也釋出了新的晶片。就連特斯拉也在開發AI硬體。另外，來自中國的競爭者也不容小覷。
宣傳非常重要，但有些宣傳和實驗室實際發生的事情不符。IBM沃森就是過度營銷的傳奇，並沒有帶來相符的結果。大家都不喜歡沃森，所以他們在醫療方面一再失敗也不奇怪。
Facebook的人工智慧發明了自己的語言那事，其實也跟真相不符。這不簡單是媒體的誤導，研究人員所用的標題和摘要也越了界，沒能反映實驗的實際結果。
Youtube Bounding Boxes
https://research.google.com/youtube-bbGoogle QuickDraw Data
https://quickdraw.withgoogle.com/dataDeepMind Open Source Datasets
https://deepmind.com/research/open-source/open-source-datasetsGoogle Speech Commands Dataset
https://research.googleblog.com/2017/08/launching-speech-commands-dataset.htmlAtomic Visual Actions
https://research.google.com/ava/Several updates to the Open Images data set
https://github.com/openimages/datasetNsynth dataset of annotated musical notes
https://magenta.tensorflow.org/datasets/nsyntQuora Question Pairs
https://data.quora.com/First-Quora-Dataset-Release-Question-Pairs無監督情緒神經元- 一個可以學習情緒的系統，儘管只被亞馬遜訓練用於預測評論的下一個字元。
學會溝通 - 智慧體“開發”了自己的語言。
習得索引結構 - 使用神經網路優化快取記憶體B-Tree。
Attention is All You Need - Google推出的翻譯架構Transformer完全捨棄了RNN/CNN結構。
Mask R-CNN
Deep Image Prior，影象去噪、超解析度和修補。
</div>