【資料猿導讀】 對於未來的預測經常是錯誤的，不過多看看不同的人對未來的想法無疑是有價值的。人工智慧發展到現在已經在很多領域證明了自己。不過目前的人工智慧還遠遠達不到我們期望中的狀態

作者 | 閻志濤 

官網 | www.datayuan.cn

微信公眾號ID | datayuancn

對於未來的預測經常是錯誤的，不過多看看不同的人對未來的想法無疑是有價值的。人工智慧發展到現在已經在很多領域證明了自己。不過目前的人工智慧還遠遠達不到我們期望中的狀態。

下一個目標無疑是人工智慧有了更好的感知能力，能夠利用記憶、遷移學習以及持續學習能力來處理複雜的情況，這樣的人工智慧可能才逐漸的向通用智慧方面發展。

圖片來自：Towards Data Science

以下是正文：

以下這些是我關於深度神經網路以及機器學習在更廣泛的人工智慧領域如何發展的看法，以及我們如何能夠獲得越來越複雜的機器以改善我們的日常生活。

需要注意的是，這些並不是對於未來的預測，而是對這些領域的發展軌跡、趨勢以及技術需求進行更詳細的分析，從而使得我們能夠獲得有用的人工智慧。

並不是所有的機器學習都是針對人工智慧的，還有一些低成就的成功，我們也會一併進行介紹。

1 目標

這個領域的目標是實現達到或者超過人類的機器，從而能夠在我們的日常的生活中幫助我們。自動駕駛車輛、智慧家居、人造助手以及安全的攝像頭是第一個目標。

家庭烹飪和清潔機器人以及無人機和機器人是第二個目標。另外一個是移動裝置上的智慧助手。還有就是能夠聽到或者看到我們日常生活的全職智慧陪伴助理。終極的目標是一個完全自主的綜合體，在人類的日常任務中，能夠達到或者超過人類。

2 軟體

在這裡軟體被定義為通過優化演算法進行訓練的能夠解決一個特定任務的神經網路架構。

在今天，神經網路已經變成了從大規模的資料集上進行監督學習來分類事實的工具。但這並不是人工智慧，因為在真實的世界中經常需要從沒有經歷過的經驗中無監督的學習，這需要能夠結合不同的環境中得來的知識去解決面臨的新的問題。

2.1 神經網路架構

幾年前，當這個領域蓬勃發展時，我們經常說它具備從資料中自動學習演算法引數的能力，並且優於人的手工的特徵工程。但是我們有意識地忘掉了一個小細節：在訓練的基礎上去解決一個任務的神經網路架構並不是從資料中學得的，實際上它仍舊是由人來設計的。

圖片來自：The Asimov Institute

從經驗中手工設計仍舊是這個領域的最主要的侷限之一。神經網路架構是學習演算法基礎的核心。儘管我們的學習演算法能夠掌握新的任務，如果神經網路不正確，它們仍舊不能正常的工作。

從資料中學習神經網路架構的問題在於，在一個大規模資料集上嘗試多個架構花費的時間太長。一個人不得不從頭到尾嘗試訓練多個架構去看看哪個表現得最好。這正是我們今天最為耗時的試錯過程。我們需要在這個問題上投入更多的人的腦力去解決這個重要的問題。

2.2 無監督學習

圖片來自：Iterative Path

我們不能總是在那裡指導神經網路如何去做，不能總是在幫助它們糾正每一個錯誤，對它們的效能提供反饋，我們有自己的生活要去過。但這就是我們今天對於有監督的神經網路需要做的：對於每一個例項，我們都要去幫助它使得它能夠正確的工作。相反，人類會從一些例子中去學習，然後能夠以一種持續的方式自我修正和學習更復雜的資料。

2.3 預測神經網路

當前的神經網路的一個主要的侷限就是它不具備我們人類大腦的一個重要特性：它們的預測能力。

關於人類大腦如何工作的一個主要的理論是不斷的做出預測：預測編碼。如果你仔細想一下，我們每天都會體驗到它。當你提起一個你認為很輕但是實際上很重的物體時，你會感到吃驚。因為當你準備提起它時，你已經預測了它將會如何影響你和你的身體，以及對周邊環境的影響。

預測不僅僅幫助理解世界，而且還能夠幫助我們知道什麼時候不需要、什麼時候需要學習。

實際上，我們儲存關於我們不知道的或者讓我們感到吃驚的事情的資訊，這樣下次遇到的時候我們就不會感到吃驚。

認知能力顯然與我們大腦中的注意力機制有關係：我們具備先天的能力能夠去忘掉 99.9% 的感官輸入，而僅僅聚焦於對於我們的生存至關重要的資料：威脅在那裡以及我們跑到哪裡能夠避開它。或者，在當今的社會，當我們急著要出門時我們的手機在哪裡。

構建預測神經網路是與真實世界互動以及在複雜的環境中能夠進行運轉的核心，因此這是任何強化學習網路的核心網路。我們已經廣泛討論了預測神經網路這個話題，並且是研究和建立它們的先鋒組織之一。

2.4 當前的神經網路的侷限

我們前面已經討論了今天的神經網路的侷限，不能夠預測、基於內容的推理以及不穩定性，因此我們需要一種新型的神經網路。

神經網路膠囊是解決當前的神經網路侷限的一種方法。在這裡我們認為膠囊需要擴充一些新的特性：

對視訊幀的操作

這非常簡單，我們需要做的是讓膠囊路由檢視最近播放過的多個數據點。這相當於對最近的重要資料點上的聯想記憶。

需要注意的是它不是最近幀的最近的表達，而是最近的幀的最不同點的表達。不同內容的不同點表達可以通過僅僅儲存與預定義值不同的表達來獲得。這個重要的細節可以儲存最近的歷史相關資訊，而不是一系列相關的資料點的無用的資訊。

預測神經網路能力

這已經是動態路由的一部分，從而強迫每一層都去預測下一層的表達。這是一個非常強大的自學習技術，在我們看來，它比我們社群所開發的所有的其他型別的無監督學習都更有效果。膠囊現在需要能夠預測長時間的時空關係，但是現在這個能力還沒有被實現。

2.5 持續學習

這一點很重要，因為神經網路需要不斷學習新的資料點。目前的神經網路每一次都只能夠重新訓練才能夠學習新的資料。神經網路需要能夠自我評估哪些是它們已經知道的以及哪些需要重新訓練。

圖片來自：blog.ryan-jenkins.com/

這也是現實生活中的增強學習任務所需要的，這樣我們就能教機器學習新的任務而不會忘記舊的任務。

2.6 遷移學習

或者我們如何能夠讓這些演算法通過觀看視訊自己學習，就像我們想要學習如何做一道新菜一樣。這個能力需要我們前面列出的所有的元件，並且對於增強學習非常重要。現在你只需要給機器一個例子，就可以訓練你的機器來做你想要它做的事情，就像我們人類一樣。

2.7 增強學習

這是深度神經網路研究的聖盃：教給機器如何在一個真實世界的環境中去學會行動。這需要自我學習、持續學習、預測能力以及很多我們不知道的東西。在增強學習領域還有很多的工作要去做，但是對於作者來講，他僅僅是瞭解了這個問題的皮毛，距離解決它還有很多的路要走。

強化學習通常被稱為“蛋糕上的草莓”，這意味著它僅僅是一個塑料綜合大腦上的小型訓練。那我們如何能夠得到一個能夠輕鬆解決所有問題的“通用”的大腦呢？ 這是一個先有雞還是先有蛋的問題。今天為了一個一個解決增強學習的問題，我們使用標準的神經網路：

一個深度神經網路，它接受大量的輸入資料，例如視訊或者音訊，然後將它們壓縮為表達

一個序列學習神經網路，例如 RNN，去學習任務

這兩個是解決這個問題的顯而易見的解決方案，然而明顯的是錯誤的。但這正是每個人現在都在使用的，因為它們是目前可用的元件。結果卻不令人滿意。的確我們可以從頭學會玩視訊遊戲，並且掌握象棋或者圍棋這類完全可以觀察的遊戲。但是不需要我告訴你這些遠遠不能夠解決現實世界的複雜問題。

想象一下一個 AI 可以比人玩 Horizon Zero Dawn 玩得更好，我非常想看到這個發生。

這正是我們想要的，機器可以和我們人類一樣進行操作。我們在這裡詳細介紹了增強學習的工作和建議。它使用一個可以連續操作的預測神經網路以及一個關聯儲存器去儲存當前的體驗。

2.8 不會再存在迴圈神經網路

迴圈神經網路（RNN）已經出現了有一段時日了。RNN 在訓練的並行化方面表現得非常不好，即使在特殊定製的機器上執行也非常慢，究其原因是它們非常高的記憶體頻寬使用，因為它們受限於記憶體頻寬而不是受限於計算能力。

基於注意力的神經網路訓練和部署更高效也更快速，並且他們比較小地受到訓練和部署的彈性影響。神經網路中的注意力有可能改變很多的的架構，但是現在它還沒有得到應有的認可。將關聯記憶和注意力結合在一起將會是下一波神經網路發展浪潮中的核心。

注意力神經網路已經能夠像 RNN 一樣學習序列，並且能夠減少 100 倍的計算量！誰能夠忽略這個大的進步？我們認識到基於注意力的神經網路將會慢慢在語音識別領域替換 RNN，並且會在增強學習架構和通用人工智慧領域找到他們的位置。

3 硬體

圖片來自：Rude Baguette

硬體是深度學習取得進步的核心，讓我們忘掉深度學習在 2008-2012 年的快速擴張，近些年深度學習的迅速發展主要是因為硬體：

每個手機上廉價的影象感測器使得我們可以收集大量的資料集

GPU 可以加速深度神經網路的訓練

在過去的 1-2 年，我們看到了機器學習硬體的爆發式的發展，尤其是針對深度神經網路。

有好幾個公司在這個領域進行工作：NVIDIA、Intel、Google 等，它們都在開發定製化、高效能的能夠訓練和執行深度神經網路的晶片。

關鍵是提供能夠執行最新最有用的神經網路操作同時能夠提供最低等功率和最高的可衡量的效能。但是這個領域裡很少有人能夠理解硬體如何真正的改變機器學習、神經網路以及人工智慧。很少有人理解晶片的重要性以及如何去開發它們。

以下是我們的列表：

訓練還是推理  

很多公司在創造能夠進行神經網路訓練的晶片，其目的是搶佔 NVIDIA 的一部分市場，NVIDIA 是神經網路訓練硬體的事實上的標準。

但是訓練僅僅是深度神經網路應用和世界中的一小部分。對於任何一個訓練步驟，在真實世界中都有實際應用的上百萬次的部署。例如你可以在雲上使用一個目標檢測神經網路：它被在很多圖片上訓練一次，但是一旦訓練完成，它將會被上百萬臺計算機在數十億的資料上去執行。

我們在這裡試圖說明的是：訓練硬體的重要性就像將你的訓練次數與你真正使用的次數進行比較一樣。而且一個訓練所用的硬體需要額外的硬體和軟體技巧。

這意味這對於相同的效能需要更高的功率，因此不適合進行當前的生產部署。訓練硬體重要，但是相比於一個容易修改的推理硬體，它並不是很多人想象的那麼重要了。

應用

能夠提供用更少的能源來進行更快的訓練的在這個領域非常重要，因為它能夠使得我們更快地建立和測試新的模型。但是後邊真正重要的一步是執行應用的硬體。

目前，還有很多的應用由於硬體效率的原因還沒辦法應用到實際當中，比如我們的手機可以是語音助手，它還遠遠的達不到理想的狀態，因為我們不能一直開啟它。我們的家庭助手都需要連線到供電裝置上，因此不能隨時的跟隨我們在家裡隨意移動，除非我們周邊有多個麥克風和裝置。

可能最重要的應用是將手機螢幕從我們的生活中移走，然後嵌入到我們的視覺系統當中。沒有超級有效的硬體，大部分的這些應用（小機器人）都會變得不可能。

贏家和輸家

在硬體領域，贏家是單位能耗最低、並且能夠最快進入市場的那些企業。想象一下在手機中取代 SoC，這每年都在發生。現在想象一下將神經網路加速器嵌入到記憶體當中，這可能能夠更快地征服大部分的市場，並且具有非常明顯的滲透率。這就是我們所說的贏家。

在前面，我們簡要討論了應用，但是我們需要詳細的討論一下 AI 和神經網路如何進入和影響我們的生活

如下是列表：

影象和視訊分類

已經有很多雲服務提供商在提供服務，未來會在更多的智慧相機中提供。神經網路在未來將會越來越多地減少對雲的依賴而在本地處理越來越多的資料：因為隱私和節省頻寬而成為贏家。

語音助手

圖片來自：Tech Crunch

他們正在成為我們生活中的一部分，因為他們在我們的“智慧”家庭中播放音樂和控制基本裝置。

對話是我們人類活動中基礎的一個能力，因此我們經常認為它是理所當然的。與你正在對話的小型裝置正在發生一場革命，語音助手在服務我們時變得越來越好。

但是他們仍舊需要連線電源。我們需要的真正的助手是能夠跟隨我們移動的，我們的手機合適嗎？在這裡硬體有一次獲得了勝利，因為硬體的進步使得這個成為可能。

Alexa、Cortona 和 Siri 會一直在你的身邊陪伴。你的手機很快就會成為你的智慧家庭，這是智慧手機的又一次勝利。我們也希望當我們在四處走動時，他們在我們的車裡。

我們需要能夠在本地處理聲音，越來越少地依賴雲，從而能夠有更好的隱私保護以及降低頻寬的開銷，硬體進步將在 1-2 年內把這些提供給我們。

真正人工助手

圖片來自：Boston Web Marketing

能夠識別語音真的很棒，但是我們真正需要的是能夠看到我們看到的，當我們移動時能夠隨時分析我們周圍環境的助手。這是我們真正會愛上的智慧助手。

神經網路硬體能夠滿足你的這個願望，因為分析視訊流非常耗費計算能力，而且已經達到了現在矽基硬體的理論極限。換句話說，這個的實現要比語音助手困難的多。

但是這並不是不可能的，許多智慧初創公司，比如 AiPoly 已經有了所有的相關的軟體，但是缺乏能夠支撐在手機上執行的強有力的硬體。還要注意的是，利用可穿戴眼鏡之類的裝置替換手機螢幕將會使得智慧助手真正成為我們生活的一部分。

烹飪機器人

圖片來自：How Cool Brands Stay Hot

下一個偉大的裝置將會是一個做飯以及清潔的機器人，我們很快可能就會有相關的硬體，但是我們缺乏對應的軟體。我們需要遷移學習、持續學習以及增強學習。

所有的工作看起來都非常有魅力，因為你會看到：每一個配方都是不同的，每一個烹飪的原材料都看起來是不一樣的，我們不可能硬編碼這些選項，我們需要一個綜合體來非常好的學習和總結從而能夠完成相關的工作。

我們遠沒有達到這個地步，但也不是非常的遙不可及。按照目前的發展速度，可能需要幾年的時間。勿容置疑，我會從事相關的工作，就像我過去幾年已經在做的一樣。

注：本文經由TalkingData資料學堂及閻志濤本人授權並投遞資料猿釋出，本文由閻志濤老師翻譯自Towards Data Science的一篇文章，原文作者為 Eugenio Culurciello。

金猿榜往期的獲獎名單，將會在峰會現場隆重發布，期待我們的見面?