李杉 編譯自 AI Frontiers
量子位 出品 | 公眾號 QbitAI

提到Google的AutoML，大家總會想到Jeff Dean、李飛飛，而實際上，這個專案背後還有一位貫穿始終的幕後英雄。

他是吳恩達的學生，Google Brain的創立者之一，也正是他的研究，為谷歌神經機器翻譯打下了基礎。

他就是Quoc Le。

一個名為AI Frontiers的科技部落格對Quoc Le的研究做了比較全面的介紹，量子位翻譯如下：

Quoc Le身材瘦弱，舉止安靜，戴著一副厚厚的眼鏡，你很難想象他竟然在人工智慧領域領導一場革命。

2011年，Le與他的博士生導師吳恩達，以及Jeff Dean和Greg Corrado兩位谷歌研究員共同創辦了谷歌大腦，目標是在谷歌龐大的資料背景下探索深度學習技術。在此之前，Le在斯坦福大學針對無監督深度學習開展了一些開創性工作。

2012年，Le在ICML會議上發表了一篇論文，引起了人們對深度學習的濃厚興趣：他開發了一種深度神經網路模型，可以從來自YouTube的1000萬張圖片中，自動識別出貓，還能識別ImageNet資料集中的3000多種物體。

這也就是把谷歌大腦帶到公眾視線之中的“認貓事件”。

這個龐大的系統包含1.6萬臺機器和10億個突觸，比之前任何一次嘗試的規模都要大100倍。Le的論文發表後，同年晚些時候有了AlexNet的論文，於是，整個深度學習領域都開始引人關注。

雖然後來的事實證明無監督機器學習在商業用途上有些不切實際——至少當時如此——但Le還是在2015年接受《連線》採訪時表達了一種願望：“如果我們能夠找到一種可以發現（還可以通過同樣的方式學習）的演算法，那就太好了，因為更實際的情況是，我們掌握的非標記資料遠多於標記資料。“

序列對序列學習

2013年畢業後，Le便正式擔任谷歌研究員。在此之後，他很快在機器翻譯方面取得了驚人的突破，這也是機器學習最活躍的研究領域之一。

為了實現這個結果，他必須突破在影象和語音領域效果很好的深度學習方法。已有的方法只能分析固定大小的輸入資訊，而在自然語言中，句子的長度各不相同，詞語的順序也很重要。

2014年，Le與谷歌研究員Ilya Sutskever和Oriol Vinyals一起提出序列到序列（seq2seq）學習方法。這是一種通用的編碼器-解碼器框架，可以訓練模型將序列從一個域轉換到另一個域，例如在不同語言之間實現語句翻譯。

seq2seq所需的工程設計選擇較少，能讓谷歌的翻譯系統高效而準確地處理龐大的資料集。它主要用於機器翻譯系統，但也被證明適用於更廣泛的任務，包括文字摘要、會話AI和問答。

接下來，Le發明了doc2vec，這種無監督演算法從長度各異的文字片段（如句子、段落和文件）中學習固定長度的特徵表示。

Doc2vec是谷歌研究員Tomas Mikolov 2013年推出的word2vec的擴充套件，word2vec的想法是，每個單詞都可以用向量表示，而向量可以從一組文字中自動學習。Le向其中添加了段落向量，因此無論長度如何，模型都可以生成文件的表示。

Le的研究工作得到了回報。2016年，谷歌宣佈推出神經機器翻譯系統，它藉助AI的學習能力，可以隨著時間的推移，逐漸形成更好、更自然的翻譯。

2015年，Le入選《麻省理工學院科技評論》評選的“35歲以下創新者”名單，原因是他致力於“讓軟體足夠聰明，以幫助人們在日常生活中獲得好的感受。”

AutoML：讓神經網路學會自我提升

訓練深度神經網路需要大量的標記資料和反覆的實驗：你可以選擇一個架構，構建一些隱藏層，然後根據輸出調整權重。對於機器學習專業知識有限的人來說，這個訓練過程有些費時費力。

2016年，Le和另一位谷歌同事Barret Zoph提出了神經架構搜尋。他們使用迴圈神經網路生成神經網路的模型描述，並使用強化學習訓練這個迴圈神經網路，從而儘可能提升生成的架構在驗證集上的預期準確率。

這種新方法可以幫助研究人員設計新網路架構，該架構在CIFAR-10資料集中測試精度，能匹敵最好的人工架構。

一年後，Le和Zoph將他們的研究提升到了一個新的水平，提出了NASNet-A，這是一個針對大規模影象資料集設計的可轉換架構。

Le的研究為AutoML奠定了基礎，這套谷歌產品的目標使用者，是那些在機器學習方面專業能力和資源有限的開發人員。

儘管還很早期，但AutoML正在解決現實問題：有資料科學家使用AutoML建立了一個模型，可以根據麵條影象識別出一家餐廳，準確度幾乎達到95％。還有日本開發人員用AutoML構建了一個模型，可以根據品牌名稱對影象進行分類。

谷歌今年早些時候推出了AutoML Vision。在上個月的谷歌Cloud Next會議上，該公司還發布了翻譯和自然語言工具。

過去6年裡，Le一直處於深度學習發展的最前沿。這位36歲的谷歌研究員現在準備將深度學習提升到新的水平。

原文：

https://medium.com/@aifrontiers/an-unassuming-genius-the-man-behind-google-brains-automl-4ddc801f3e9b

— 完 —

加入社群

量子位AI社群19群開始招募啦，歡迎對AI感興趣的同學，在量子位公眾號（QbitAI）對話介面回覆關鍵字“交流群”，獲取入群方式；

此外，量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募，面向正在從事相關領域的工程師及研究人員。

進專業群請在量子位公眾號（QbitAI）對話介面回覆關鍵字“專業群”，獲取入群方式。（專業群稽核較嚴，敬請諒解）

誠摯招聘

量子位正在招募編輯/記者，工作地點在北京中關村。期待有才氣、有熱情的同學加入我們！相關細節，請在量子位公眾號(QbitAI)對話介面，回覆“招聘”兩個字。

量子位 QbitAI · 頭條號簽約作者

վ'ᴗ' ի 追蹤AI技術和產品新動態