1. 程式人生 > >為什麼大家都不戳破深度學習的本質?!

為什麼大家都不戳破深度學習的本質?!

0?wx_fmt=gif&wxfrom=5&wx_lazy=1

人類正在慢慢接近世界的本質——物質只是承載資訊模式的載體。人腦之外的器官都只是保障這一使命的給養艦隊。

自從去年 AlphaGo 完虐李世乭,深度學習火了。但似乎沒人說得清它的原理,只是把它當作一個黑箱來使。有人說,深度學習就是一個非線性分類器?有人說,深度學習是對人腦的模擬……但我覺得都沒有捅透那層窗戶紙。

當讀完 Jeff Hawkins 的《論智慧》,「就是它了!」。而我驚奇地發現,原書竟是 2004 年出版的!我怕自己讀了本假書,或是某個美國民科的著作,特意到豆瓣、知乎上查了下,發現幾乎每個看過這本書的人都對其理論嘖嘖稱讚。但奇怪的是,似乎沒人肯替它站臺,這套理論的影響止步於此,好像大家都在刻意掩飾自己看過這本祕笈。它明明已經完整解釋了人腦智慧的運作機制了啊!注意是 Real Intelligence ,而不僅僅是 Artificial Intelligence !!!

01 三個洞見

比起絕大多數腦科學論文,作者的洞見簡單得多,也深刻得多:

  1. 長久以來,由於我們沒有能力從內部去觀察思維,所以人們總是把「智慧」等同為「表現出智慧的行為」。但當我們看書時,在外人看來並沒有任何變化,而我們自己知道,這期間產生了無數的聯想、頓悟、回憶。所以,「理解」是無法通過外部行為來測量的,它是一個內在度量的指標。

  2. 從草履蟲到人類,大自然會為每一種生物分別設計一套智慧機制,還是沿用一套機制,亦或是從某一代開始出現某種全新的智慧機制,並沿用至今(那麼,最先產生這套智慧機制的又是什麼物種呢?)?我們所說的智慧,是人類所獨有,還是生物的普遍特徵(只是多寡之別)?而作者相信,智慧不可能是上帝專為人類而設計的,它一定來自大自然的某種慣用伎倆。

  3. 大腦皮層,不管是結構上還是功能上,都有著相同的構造/機理(嚴格來說,這不算作者的洞見,而是早在 1978 年由 Vernon Mountcastle 發現的)。

由這三個洞見出發,自然而然地導向了以下疑問:

  1. 如果智慧不是由行為定義的,那該如何定義它?

  2. 向前看,智慧是如何演化而來的?

  3. 向內看,大腦皮層的結構是如何捕捉這個世界的結構的?

簡單地說,作者的結論是:

  1. 智慧並沒有人們想象的那麼玄乎,它不過是一種「預測未來的能力」罷了。

  2. 這些預測的實質,不過是「生物的應激性」在「生物自平衡機制」&「環境壓力」下產生的副產品。

  3. 智慧的核心是某種「穩定不變的東西」。而這得益於大腦皮層同質的層級結構。

下面,我們就來看看作者是怎麼從那三個簡單的洞見一步步推測出智慧的本質的。

02 生命的鞦韆

小到人體,大到經濟系統,複雜系統內都有著一種消減衝擊、使系統迴歸穩態的類似機制。血糖濃度低了,胰高血糖素分泌會增加,拉高血糖;而血糖高了,胰島素分泌會增加,拉低血糖。通過調節這對激素,系統竭力讓血糖維持在某一範圍內。這種自穩態機制出現在生命的各個角落,保持著生命的自我平衡。

這就像一隻「看不見的手」,總是想推開擠壓,同時把「逃兵」抓回來。這隻「看不見的手」在我們大腦中編織了無數「正確的位置」(用腦科學家的黑話說就是「恆定表徵」)。一旦偏離,我們就開始警覺起來,並調動多個系統聯合應對。舉個書中的例子,一個球飛過來,我們並不是去計算它的彈道、落點,而是指揮肢體相應調整,直到抓住來球。這套調整演算法就是「預測」。從這個事例看,人們在接球這件事上表現出的智慧,和草履蟲向著食物划動所展現的應激性,又有什麼本質的分別呢?

0?wx_fmt=jpeg

03 為什麼說「預測」是智慧的基礎?

平常,人們理解的「預測」步子邁得太大了,就好比從一發球就要精準地算出其落點,而人腦的「預測」更像是「應激」,球動我動,一點點微調。現代社會發展得太快,讓我們看不清概念的歷史面貌,因而更容易被表象的迷霧困惑。當我們走回歷史的起點,迷霧自然散去。智慧,於我們最大的益處是什麼?並非創造什麼,而是生存下去。人類無時無刻不在「生存」還是「發展」之間糾結。但很少有人看到:發展,不過是為了應對未知的生存挑戰。

我們應該怎麼去定義智慧呢?也許演化的歷史能告訴我們更多。智慧,是幫助人類生存下去的一種能力:是讓我們可以在溪流中叉到遊動的魚兒的能力,是讓我們可以只靠一幅模糊的影象就判斷出是朋友還是猛獸……我們應該去研究那些「如何保持平衡」之類的問題,而不是什麼彈道求解問題,那不是大自然的進化目標,自然也得不到什麼大腦的機制。

所有生存問題都可以歸結為一個元問題:如何識別出這個問題中的那些個恆定不變的東西。比如:溪流中的魚、回家的方向……如果說智慧中還存在別的成分,比如:想象、創造工具、解決問題,都可以規約到某種抽象手段上。歸根結底,人類解決一切問題的方法只有一個——運用抽象,在更高維度上調和矛盾。

一切繞不開「恆定表徵」(invariant representations)。

04 抽象的本質

就如同人們在認可了「負數」這一概念之後,終於能將「加法」&「減法」這兩種表象上完全不同(一個增加,一個減少)的運算,統一為「整數域上的加法」。從更高的維度調和矛盾,這正是大腦皮層的構造方式,也是其工作原理。不斷在現象中找到共同點,提取出來,取個名字;這些名字又成為了上一層抽象的基石(或者叫「詞彙」)。這樣一層一層,直至得到那個智慧的聖盃——恆定表徵。

舉個例子,我們是如何識別邊緣的呢?

我們先來考察一小塊 3×3 的視網膜,分別標記為 #1~#9 (如下圖所示)。當一條豎線出現時(#1, #4, #7 均被啟用),電訊號傳遞到第二層。第二層的每一個神經元,分別響應視網膜上一組細胞被啟用的情況。比如:第二層最左邊的那片神經元,響應的是單個視網膜細胞被啟用的情況。再比如:第二層左二那片神經元,響應的是任意兩個視網膜細胞被啟用的情況。以此類推……

0?wx_fmt=jpeg

邊緣識別:最下層是視網膜細胞;當某個視網膜細胞組合被啟用後,會啟用其上一層的相應神經元;而上一層神經元的某個組合被啟用後,又會鏈式地啟用更上一層的神經元如果我們把時間的因素考慮進去,假設訊號並不會馬上消失,而是隨著時間衰減,那麼只要時間夠短,輸入 (#1, #4, #7)、(#2, #5, #8)、(#3, #6, #9) 這三組刺激,就會在第三層啟用某個神經元,代表「發現一條豎線」。

看,其實每一個神經元都是一個「單詞」(或是「概念」/「抽象」/「特徵」)。只不過低層神經元描述的「單詞」抽象程度更低。比如:第二層那個 #(1, 4, 7) 神經元代表的是「在視網膜的最左邊出現一條豎線」,而其上層那個則沒有「在視網膜的最左邊」這一約束。

05 記憶的角色

神經元可以在 5 毫秒內完成資訊的收集-整合-輸出,相當於運算速度為每秒 200 次。人類可以在半秒內(相當於 100 步)識別影象、作出選擇…… 100 步,機器可做不到。在人類已知的演算法裡面,也許只有「打表」(把答案事先儲存在記憶中,用時並不作計算,而只是提取)可以做到。所以,整個大腦皮層就是一個記憶系統,而非什麼計算機。

06 深度學習做對了什麼?

多層網路,提供了逐層抽象的通道。如今,影象識別系統正是這麼做的:底層識別邊緣,而後識別特定形狀,再高層識別某種特徵……

卷積,提供了獲得「恆定表徵」的手段。

07 還有什麼我們不知道?

當我們想要提取某段記憶時,往往只需要隻言片語就行了。也就是說,記憶似乎是以一種全息的形式儲存的。任何片段都包含了全部。

還有,我們依然不知道大腦是怎麼在 100 步內完成決策的。我們也不知道為什麼會有那麼多反饋連線?軸突 v.s. 樹突在功能上有什麼分別?……

現在讓我們回過頭來看作者的三個洞見,用黑話再講一遍就是:

  • 理解,是對「大腦如何形成記憶,並利用這些記憶作出預測」的一個內部度量。

  • 預測,是某種自我調節機制的副產品。

  • 大腦皮層在外表 & 結構上存在著驚人的同質性。也就是說,大腦皮層使用相同的計算方式來完成它的一切功能。人類展現出來的所有智慧(視覺、聽覺、肢體運動……)都是基於一套統一的演算法

來源:人工智慧愛好者社群

課程推薦

0?wx_fmt=jpeg

推薦閱讀

Q:你是怎麼理解深度學習的?

歡迎留言與大家分享

請把這篇文章分享給你的朋友

轉載 / 投稿請聯絡:[email protected]

更多精彩文章,請在公眾號後臺點選“歷史文章”檢視

0?wx_fmt=jpeg

相關推薦

為什麼大家深度學習本質

來源:36大資料概要:人類正在慢慢接近世界的本質——物質只是承載資訊模式的載體。人腦之外的器官都

為什麼大家深度學習本質

人類正在慢慢接近世界的本質——物質只是承載資訊模式的載體。人腦之外的器官都只是保障這一使命的給養

局域網如何屏蔽抖音短視頻?再不屏蔽大家好好工作了

網絡管理 禁止抖音抖音現在實在是太火了,辦公室一個個都忙著刷抖音,哈哈大笑者有之,忍俊不禁者有之...,可這帶寬占用可也不小啊。一個人看抖音的實時帶寬可以達到5Mbps,十幾個人一起刷就可以把百兆帶寬給用完了。而且手指一刷就換到下一個視頻,隨便刷刷就幾G的流量。如圖:抖音的通訊協議分析研究人員抓包分析發現,抖

深度】“資訊瓶頸”理論揭示深度學習本質,Hinton說他要看1萬遍

本文講的是“資訊瓶頸”理論揭示深度學習本質,Hinton說他要看1萬遍,利用深度神經網路的機器已經學會了交談、開車,在玩視訊遊戲和下圍棋時擊敗了世界冠軍,還能做夢、畫畫,幫助進行科學發現,但同時它們也深深地讓其發明者困惑,誰也沒有料到所謂的“深度學習”演算法能做得這麼好。沒有基本的原則指引這些學習系

拯救深度學習:標註資料足下的深度學習方法

摘要:解決深度學習對資料的依賴問題和減少資料標註成本成為了業界的研究熱點。本文將介紹以下幾個研究方向:半監督/弱監督學習、資料合成、主動學習、自監督。 1. 引言 得益於深度學習的發展,許多計算機視覺任務在近幾年取得了不錯的效果。但是,現有的深度學習演算法多是有監督學習演算法,依賴大量人工標記的訓練資料,而標

連這些知道,怎麼去阿里

本次收錄了一些面試中經常會遇到的經典面試題以及自己面試過程中遇到的一些問題,並且都給出了我在網上收集的答案。馬上就要過春節了,開年就是嶄新的一年,相信很多的前端開發者會有一些跳槽的悸動,通過對本篇知識的整理以及經驗的總結,希望能幫到更多的前端面試者。(如有錯誤或更好的答案,歡迎指正,水平

6段里程碑式Python程式碼,帶你瞭解深度學習歷史

【導讀】深度學習為什麼會成為今天的樣子?讓我們用六段程式碼來刻畫深度學習簡史,用Python展現深度學習歷史上關鍵的節點和核心要素,包括最小二乘法、梯度下降、線性迴歸、感知器、神經網路和深度神經網路。 最小二乘法 深度學習的一切都起源於這個數學片段(我把它用Python 寫了出來):

學Python,懂一點PEP,誰願意和你一起開發

    或許你是一個初入門Python的小白,完全不知道PEP是什麼。又或許你是個學會了Python的熟手,見過幾個PEP,卻不知道這玩意背後是什麼。那正好,本文將系統性地介紹一下PEP,與大家一起加深對PEP的瞭解。 目前,國內各類教程不可勝數,雖然或多

帶你測試對比深度學習框架TensorFlow,Keras,PyTorch...哪家強?(附資料集)

授權自AI科技大本營(ID: rgznai100) 本文長度為3556字,建議閱讀7分鐘 亞馬遜MXNet在CNN、RNN與NLP情感分析任務上效能強勁,而TensorFlow僅擅長於特徵提取。 深度學習框架哪家強:TensorFlow?Caffe?MXNet?Keras?PyTorch?對於這幾大

手把手教你搭建Python虛擬環境,還會趕緊收藏學習

fec term 幹凈 ces 激活 ima 出現 virtual 直接 不同的python項目可能會用到不同的包,而不同的包或不同的python版本之間可能存在沖突。因此,為每個項目創建不同的虛擬環境非常有用。它可以保證一個項目只訪問,它所在虛擬環境下安裝的包,保持全局解

PDF編輯器讓大家能合並PDF文檔 從此求人

開始 php 一個 one 什麽 我們 準備就緒 tar 解決問題 有很多網友對如何將兩個PDF文檔合並成一個PDF傷透了腦筋,不是在貼吧裏求助,就在在問答知乎上提問,今天小編就要化身為解決問題小能手,幫助大家解決這個問題,讓大家都能合並PDF文檔,從此不求人! 首先,我

被詬病實用的超級計算機,在深度學習時代會改變嗎?

超算在中學課本裏,我們都學到過“超級計算機”這個概念,在印象裏它通常和神州五號、航空母艦等等高科技設備出現在同一個章節,屬於國家科研能力的體現,更是在國際科技戰備的賽點。現在這麽多年過去了,一回神中國超級計算機的代表作已經從天河進化成了神威·太湖之光,並且通過對地震、海浪等等自然現象的精確模擬兩次獲得了戈登貝

利用Python尋找命中註定的另一半, 大家覺得可信, 畢竟還沒看這篇神級教程!

Python 教育 職業 爬蟲 戀愛 既然是Python程序員×××,就要用python程序員的方法。 今天我們的目標是,爬社區的美女~而且,我們又要用到新的姿勢(霧)了~scrapy爬蟲框架~ 1scrapy原理 在寫過幾個爬蟲程序之後,我們就知道,利用爬蟲獲取數據大概的步驟:請求網頁,

任何時候學習

一定的 style family 不同 除了 dock 一起 有一個 inter ”當你學的越來越多的時候,會發現自己懂得越來越少“——範導語錄昨天在班級群裏和同學們聊起一件事情:會議室來了一位應聘虛擬化(esxi)運維的小夥,經理喊我一起去面試,由於這方面工作主要是我來負

深度學習錯誤彙總:Tensorboard給的網址打

1.問題描述 執行tensorboard命令以後,終端給出的網址打不開,我給出的網址是 TensorBoard 1.7.0 at http://xxx-ubuntu:6006 (Press CTRL+C to quit) 小技巧:按著CTRL,滑鼠單擊http網址會自

######好好好,本質#####基於LSTM搭建一個文字情感分類的深度學習模型:準確率往往有95%以上

基於情感詞典的文字情感分類 傳統的基於情感詞典的文字情感分類,是對人的記憶和判斷思維的最簡單的模擬,如上圖。我們首先通過學習來記憶一些基本詞彙,如否定詞語有“不”,積極詞語有“喜歡”、“愛”,消極詞語有“討厭”、“恨”等,從而在大腦中形成一個基本的語料庫。然後,我們再對輸入的句子進行最直接

深度學習基礎--卷積神經網路的變性

卷積神經網路的不變性   不變性的實現主要靠兩點:大量資料(各種資料);網路結構(pooling) 不變性的型別   1)平移不變性   卷積神經網路最初引入區域性連線和空間共享,就是為了滿足平移不變性。   關於CNN中的平移不變性的來源有多種假設。   一個想法是平移不變性

關於訓練深度學習模型deepNN時,訓練精度維持固定值,模型收斂的解決辦法(tensorflow實現)

一、背景 最近一直在做人臉表情的識別,用到的程式是之間的一篇文章中的程式:深度學習(一)——deepNN模型實現攝像頭實時識別人臉表情(C++和python3.6混合程式設計)。這裡我只進行了簡單的程式修改。 由於該程式是利用fer2013資料集做的,效果不是很好,人臉表情的識別精度僅有70

大家收藏了的最新開源專案Top12CV、NLP、機器學習一應俱全

參加 2018 AI開發者大會,請點選 ↑↑↑ 譯者 | 林椿眄、Jane 責編 | Jane 出品 | AI科技大本營 【導讀】作者整理了近期最新發布及更新的 12 個非常有學習和收藏意義的開源專案。這些專案中包括基於 TensorFlow 的強化學習