我們正站在變革的邊緣，而這次變革將和人類的出現一般意義重大 – Vernor Vinge

如果你站在這裡，你會是什麼感覺？

看上去非常刺激吧？但是你要記住，當你真的站在時間的圖表中的時候，你是看不到曲線的右邊的，因為你是看不到未來的。所以你真實的感覺大概是這樣的：

稀鬆平常。

遙遠的未來——就在眼前

想象一下坐時間機器回到1750年的地球，那個時代沒有電，暢通通訊基本靠吼，交通主要靠動物拉著跑。你在那個時代邀請了一個叫老王的人到2015年來玩，順便看看他對“未來”有什麼感受。我們可能沒有辦法瞭解1750年的老王內心的感受——金屬鐵殼在寬敞的公路上飛馳，和太平洋另一頭的人聊天，看幾千公里外正在發生進行的體育比賽，觀看一場發生於半個世紀前的演唱會，從口袋裡掏出一個黑色長方形工具把眼前發生的事情記錄下來，生成一個地圖然後地圖上有個藍點告訴你現在的位置，一邊看著地球另一邊的人的臉一邊聊天，以及其它各種各樣的黑科技。別忘了，你還沒跟他解釋網際網路、國際空間站、大型強子對撞機、核武器以及相對論。

這時候的老王會是什麼體驗？驚訝、震驚、腦洞大開這些詞都太溫順了，我覺得老王很可能直接被嚇尿了。

但是，如果老王回到了1750年，然後覺得被嚇尿是個很囧的體驗，於是他也想把別人嚇尿來滿足一下自己，那會發生什麼？於是老王也回到了250年前的1500年，邀請生活在1500年的小李去1750年玩一下。小李可能會被250年後的很多東西震驚，但是至少他不會被嚇尿。同樣是250來年的時間，1750和2015年的差別，比1500年和1750年的差別，要大得多了。1500年的小李可能能學到很多神奇的物理知識，可能會驚訝於歐洲的帝國主義旅程，甚至對於世界地圖的認知也會大大的改變，但是1500年的小李，看到1750年的交通、通訊等等，並不會被嚇尿。

所以說，對於1750年的老王來說，要把人嚇尿，他需要回到更古老的過去——比如回到公元前12000年，第一次農業革命之前。那個時候還沒有城市，也還沒有文明。一個來自狩獵採集時代的人類，只是當時眾多物種中的一個罷了，來自那個時代的小趙看到1750年龐大的人類帝國，可以航行於海洋上的鉅艦，居住在“室內”，無數的收藏品，神奇的知識和發現——他很有可能被嚇尿。

小趙被嚇尿後如果也想做同樣的事情呢？如果他會到公元前24000年，找到那個時代的小錢，然後給他展示公元前12000年的生活會怎樣呢。小錢大概會覺得小趙是吃飽了沒事幹——“這不跟我的生活差不多麼，呵呵”。小趙如果要把人嚇尿，可能要回到十萬年前或者更久，然後用人類對火和語言的掌控來把對方嚇尿。

所以，一個人去到未來，並且被嚇尿，他們需要滿足一個“嚇尿單位”。滿足嚇尿單位所需的年代間隔是不一樣的。在狩獵採集時代滿足一個嚇尿單位需要超過十萬年，而工業革命後一個嚇尿單位只要兩百多年就能滿足。

未來學家Ray Kurzweil把這種人類的加速發展稱作加速回報定律（Law of Accelerating Returns）。之所以會發生這種規律，是因為一個更加發達的社會，能夠繼續發展的能力也更強，發展的速度也更快——這本就是更加發達的一個標準。19世紀的人們比15世紀的人們懂得多得多，所以19世紀的人發展起來的速度自然比15世紀的人更快。

即使放到更小的時間規模上，這個定律依然有效。著名電影《回到未來》中，生活在1985年的主角回到了1955年。當主角回到1955年的時候，他被電視剛出現時的新穎、便宜的物價、沒人喜歡電吉他、俚語的不同而震驚。

但是如果這部電影發生在2015年，回到30年前的主角的震驚要比這大得多。一個2000年左右出生的人，回到一個沒有個人電腦、網際網路、手機的1985年，會比從1985年回到1955年的主角看到更大的區別。

這同樣是因為加速回報定律。1985年-2015年的平均發展速度，要比1955年-1985年的平均發展速度要快，因為1985年的世界比1955年的更發達，起點更高，所以過去30年的變化要大過之前30年的變化。

進步越來越大，發生的越來越快，也就是說我們的未來會很有趣對吧？

未來學家Kurzweil認為整個20世紀100年的進步，按照2000年的速度只要20年就能達成——2000年的發展速度是20世紀平均發展速度的5倍。他認為2000年開始只要花14年就能達成整個20世紀一百年的進步，而之後2014年開始只要花7年（2021年），就能達到又一個20世紀一百年的進步。幾十年之後，我們每年都能達成好幾次相當於整個20世紀的發展，再往後，說不定每個月都能達成一次。按照加速回報定，Kurzweil認為人類在21世紀的進步將是20世紀的1000倍。

如果Kurzweil等人的想法是正確的，那2030年的世界可能就能把我們嚇尿了——下一個嚇尿單位可能只需要十幾年，而2050年的世界會變得面目全非。

你可能覺得2050年的世界會變得面目全非這句話很可笑，但是這不是科幻，而是比你我聰明很多的科學家們相信的，而且從歷史來看，也是邏輯上可以預測的。

那麼為什麼你會覺得“2050年的世界會變得面目全非” 這句話很可笑呢？有三個原因讓你質疑對於未來的預測：

S曲線發生在新正規化傳遍世界的時候，S曲線分三部分

- 慢速增長（指數增長初期）

- 快速增長（指數增長的快速增長期）

- 隨著新正規化的成熟而出現的平緩期

如果你只看近期的歷史，你很可能看到的是S曲線的某一部分，而這部分可能不能說明發展究竟有多快速。1995-2007年是網際網路爆炸發展的時候，微軟、谷歌、臉書進入了公眾視野，伴隨著的是社交網路、手機的出現和普及、智慧手機的出現和普及，這一段時間就是S曲線的快速增長期。2008-2015年發展沒那麼迅速，至少在技術領域是這樣的。如果按照過去幾年的發展速度來估計當下的發展速度，可能會錯得離譜，因為很有可能下一個快速增長期正在萌芽。

3. 個人經驗使得我們對於未來預期過於死板。我們通過自身的經驗來產生世界觀，而經驗把發展的速度烙印在了我們腦中——“發展就是這麼個速度的。”我們還會受限於自己的想象力，因為想象力通過過去的經驗來組成對未來的預測——但是我們知道的東西是不足以幫助我們預測未來的。當我們聽到一個和我們經驗相違背的對於未來的預測時，我們就會覺得這個預測偏了。如果我現在跟你說你可以活到150歲，250歲，甚至會永生，你是不是覺得我在扯淡——“自古以來，所有人都是會死的。”是的，過去從來沒有人永生過，但是飛機發明之前也沒有人坐過飛機呀。

接下來的內容，你可能一邊讀一邊心裡“呵呵”，而且這些內容可能真的是錯的。但是如果我們是真的從歷史規律來進行邏輯思考的，我們的結論就應該是未來的幾十年將發生比我們預期的多得多得多得多的變化。同樣的邏輯也表明，如果人類這個地球上最發達的物種能夠越走越快，總有一天，他們會邁出徹底改變“人類是什麼”這一觀點的一大步，就好像自然進化不不斷朝著智慧邁步，並且最終邁出一大步產生了人類，從而完全改變了其它所有生物的命運。如果你留心一下近來的科技進步的話，你會發現，到處都暗示著我們對於生命的認知將要被接下來的發展而徹底改變。

通往超級智慧之路

人工智慧是什麼？

如果你一直以來把人工智慧（AI）當做科幻小說，但是近來卻不但聽到很多正經人嚴肅的討論這個問題，你可能也會困惑。這種困惑是有原因的：

1.我們總是把人工智慧和電影想到一起。星球大戰、終結者、2001：太空漫遊等等。電影是虛構的，那些電影角色也是虛構的，所以我們總是覺得人工智慧缺乏真實感。

2.人工智慧是個很寬泛的話題。從手機上的計算器到無人駕駛汽車，到未來可能改變世界的重大變革，人工智慧可以用來描述很多東西，所以人們會有疑惑。

3.我們日常生活中已經每天都在使用人工智慧了，只是我們沒意識到而已。John McCarthy，在1956年最早使用了人工智慧（Artificial Intelligence）這個詞。他總是抱怨“一旦一樣東西用人工智慧實現了，人們就不再叫它人工智慧了。”

所以，讓我們從頭開始。

首先，不要一提到人工智慧就想著機器人。機器人只是人工智慧的容器，機器人有時候是人形，有時候不是，但是人工智慧自身只是機器人體內的電腦。人工智慧是大腦的話，機器人就是身體——而且這個身體不一定是必需的。比如說Siri背後的軟體和資料是人工智慧，Siri說話的聲音是這個人工智慧的人格化體現，但是Siri本身並沒有機器人這個組成部分。

其次，你可能聽過“奇點”或者“技術奇點”這種說法。這種說法在數學上用來描述類似漸進的情況，這種情況下通常的規律就不適用了。這種說法同樣被用在物理上來描述無限小的高密度黑洞，同樣是通常的規律不適用的情況。Kurzweil則把奇點定義為加速回報定律達到了極限，技術進步以近乎無限的速度發展，而奇點之後我們將在一個完全不同的世界生活的。但是當下的很多思考人工智慧的人已經不再用奇點這個說法了，而且這種說法很容易把人弄混，所以本文也儘量少用。

最後，人工智慧的概念很寬，所以人工智慧也分很多種，我們按照人工智慧的實力將其分成三大類。

弱人工智慧Artificial Narrow Intelligence (ANI): 弱人工智慧是擅長於單個方面的人工智慧。比如有能戰勝象棋世界冠軍的人工智慧，但是它只會下象棋，你要問它怎樣更好地在硬碟上儲存資料，它就不知道怎麼回答你了。

強人工智慧Artificial General Intelligence (AGI): 人類級別的人工智慧。強人工智慧是指在各方面都能和人類比肩的人工智慧，人類能幹的腦力活它都能幹。創造強人工智慧比創造弱人工智慧難得多，我們現在還做不到。Linda Gottfredson教授把智慧定義為“一種寬泛的心理能力，能夠進行思考、計劃、解決問題、抽象思維、理解複雜理念、快速學習和從經驗中學習等操作。”強人工智慧在進行這些操作時應該和人類一樣得心應手。

超人工智慧Artificial Superintelligence (ASI): 牛津哲學家，知名人工智慧思想家Nick Bostrom把超級智慧定義為“在幾乎所有領域都比最聰明的人類大腦都聰明很多，包括科學創新、通識和社交技能。”超人工智慧可以是各方面都比人類強一點，也可以是各方面都比人類強萬億倍的。超人工智慧也正是為什麼人工智慧這個話題這麼火熱的緣故，同樣也是為什麼永生和滅絕這兩個詞會在本文中多次出現。

現在，人類已經掌握了弱人工智慧。其實弱人工智慧無處不在，人工智慧革命是從弱人工智慧，通過強人工智慧，最終到達超人工智慧的旅途。這段旅途中人類可能會生還下來，可能不會，但是無論如何，世界將變得完全不一樣。

讓我們來看看這個領域的思想家對於這個旅途是怎麼看的，以及為什麼人工智慧革命可能比你想的要近得多。

我們現在的位置——充滿了弱人工智慧的世界

弱人工智慧是在特定領域等同或者超過人類智慧/效率的機器智慧，一些常見的例子：

現在的弱人工智慧系統並不嚇人。最糟糕的情況，無非是程式碼沒寫好，程式出故障，造成了單獨的災難，比如造成停電、核電站故障、金融市場崩盤等等。

雖然現在的弱人工智慧沒有威脅我們生存的能力，我們還是要懷著警惕的觀點看待正在變得更加龐大和複雜的弱人工智慧的生態。每一個弱人工智慧的創新，都在給通往強人工智慧和超人工智慧的旅途添磚加瓦。用Aaron Saenz的觀點，現在的弱人工智慧，就是地球早期軟泥中的氨基酸——沒有動靜的物質，突然之間就組成了生命。

弱人工智慧到強人工智慧之路

為什麼這條路很難走

只有明白創造一個人類智慧水平的電腦是多麼不容易，才能讓你真的理解人類的智慧是多麼不可思議。造摩天大樓、把人送入太空、明白宇宙大爆炸的細節——這些都比理解人類的大腦，並且創造個類似的東西要簡單太多了。至今為止，人類的大腦是我們所知宇宙中最複雜的東西。

而且創造強人工智慧的難處，並不是你本能認為的那些。

造一個能在瞬間算出十位數乘法的計算機——非常簡單

造一個能分辨出一個動物是貓還是狗的計算機——極端困難

造一個能戰勝世界象棋冠軍的電腦——早就成功了

造一個能夠讀懂六歲小朋友的圖片書中的文字，並且瞭解那些詞彙意思的電腦——谷歌花了幾十億美元在做，還沒做出來。

一些我們覺得困難的事情——微積分、金融市場策略、翻譯等，對於電腦來說都太簡單了

我們覺得容易的事情——視覺、動態、移動、直覺——對電腦來說太TM的難了。

用電腦科學家Donald Knuth的說法，“人工智慧已經在幾乎所有需要思考的領域超過了人類，但是在那些人類和其它動物不需要思考就能完成的事情上，還差得很遠。”

讀者應該能很快意識到，那些對我們來說很簡單的事情，其實是很複雜的，它們看上去很簡單，因為它們已經在動物進化的過程中經歷了幾億年的優化了。當你舉手拿一件東西的時候，你肩膀、手肘、手腕裡的肌肉、肌腱和骨頭，瞬間就進行了一組複雜的物理運作，這一切還配合著你的眼睛的運作，使得你的手能都在三維空間中進行直線運作。對你來說這一切輕而易舉，因為在你腦中負責處理這些的“軟體”已經很完美了。同樣的，軟體很難識別網站的驗證碼，不是因為軟體太蠢，恰恰相反，是因為能夠讀懂驗證碼是件碉堡了的事情。

同樣的，大數相乘、下棋等等，對於生物來說是很新的技能，我們還沒有幾億年的世界來進化這些能力，所以電腦很輕易的就擊敗了我們。試想一下，如果讓你寫一個程式，是一個能做大數相乘的程式容易寫，還是能夠識別千千萬萬種字型和筆跡下書寫的英文字母的程式難寫？

比如看著下面這個圖的時候，你和電腦都能識別出這是一個由兩種顏色的小長方形組成的一個大長方形。

你和電腦打了個平手。接著我們把途中的黑色部分去除：

而且，我們到現在談的還是靜態不變的資訊。要想達到人類級別的智慧，電腦必須要理解更高深的東西，比如微小的臉部表情變化，開心、放鬆、滿足、滿意、高興這些類似情緒間的區別，以及為什麼《布達佩斯大飯店》是好電影，而《富春山居圖》是爛電影。

想想就很難吧？

我們要怎樣才能達到這樣的水平呢？

通往強人工智慧的第一步：增加電腦處理速度

要達到強人工智慧，肯定要滿足的就是電腦硬體的運算能力。如果一個人工智慧要像人腦一般聰明，它至少要能達到人腦的運算能力。

用來描述運算能力的單位叫作cps（calculations per second，每秒計算次數），要計算人腦的cps只要瞭解人腦中所有結構的最高cps，然後加起來就行了。

Kurzweil把對於一個結構的最大cps的專業估算，然後考慮這個結構佔整個大腦的重量，做乘法，來得出人腦的cps。聽起來不太靠譜，但是Kurzweil用了對於不同大腦區域的專業估算值，得出的最終結果都非常類似，是10^16 cps，也就是1億億次計算每秒。

現在最快的超級計算機，中國的天河二號，其實已經超過這個運算力了，天河每秒能進行3.4億億。當然，天河二號佔地720平方米，耗電2400萬瓦，耗費了3.9億美元建造。廣泛應用就不提了，即使是大部分商業或者工業運用也是很貴的。

Kurzweil認為考慮電腦的發展程度的標杆是看1000美元能買到多少cps，當1000美元能買到人腦級別的1億億運算能力的時候，強人工智慧可能就是生活的一部分了。

摩爾定律認為全世界的電腦運算能力每兩年就翻一倍，這一定律有歷史資料所支援，這同樣表明電腦硬體的發展和人類發展一樣是指數級別的。我們用這個定律來衡量1000美元什麼時候能買到1億億cps。現在1000美元能買到10萬億cps，和摩爾定律的歷史預測相符合。

也就是說現在1000美元能買到的電腦已經強過了老鼠，並且達到了人腦千分之一的水平。聽起來還是弱爆了，但是，讓我們考慮一下，1985年的時候，同樣的錢只能買到人腦萬億分之一的cps，1995年變成了十億分之一，2005年是百萬分之一，而2015年已經是千分之一了。按照這個速度，我們到2025年就能花1000美元買到可以和人腦運算速度抗衡的電腦了。

至少在硬體上，我們已經能夠強人工智慧了（中國的天河二號），而且十年以內，我們就能以低廉的價格買到能夠支援強人工智慧的電腦硬體。

但是運算能力並不能讓電腦變得智慧，下一個問題是，我們怎樣利用這份運算能力來達成人類水平的智慧。

通往強人工智慧的第二步：讓電腦變得智慧

這一步比較難搞。事實上，沒人知道該怎麼搞——我們還停留在爭論怎麼讓電腦分辨《富春山居圖》是部爛片的階段。但是，現在有一些策略，有可能會有效。下面是最常見的三種策略：

1) 抄襲人腦

就好像你班上有一個學霸。你不知道為什麼學霸那麼聰明，為什麼考試每次都滿分。雖然你也很努力的學習，但是你就是考的沒有學霸好。最後你決定“老子不幹了，我直接抄他的考試答案好了。”這種“抄襲”是有道理的，我們想要建造一個超級複雜的電腦，但是我們有人腦這個範本可以參考呀。

科學界正在努力逆向工程人腦，來理解生物進化是怎麼造出這麼個神奇的東西的，樂觀的估計是我們在2030年之前能夠完成這個任務。一旦這個成就達成，我們就能知道為什麼人腦能夠如此高效、快速的執行，並且能從中獲得靈感來進行創新。一個電腦架構模擬人腦的例子就是人工神經網路。它是一個由電晶體作為“神經”組成的網路，電晶體和其它電晶體互相連線，有自己的輸入、輸出系統，而且什麼都不知道——就像一個嬰兒的大腦。接著它會通過做任務來自我學習，比如識別筆跡。最開始它的神經處理和猜測會是隨機的，但是當它得到正確的回饋後，相關電晶體之間的連線就會被加強；如果它得到錯誤的回饋，連線就會變弱。經過一段時間的測試和回饋後，這個網路自身就會組成一個智慧的神經路徑，而處理這項任務的能力也得到了優化。人腦的學習是類似的過程，不過比這複雜一點，隨著我們對大腦研究的深入，我們將會發現更好的組建神經連線的方法。

更加極端的“抄襲”方式是“整腦模擬”。具體來說就是把人腦切成很薄的片，用軟體來準確的組建一個3D模型，然後把這個模型裝在強力的電腦上。如果能做成，這臺電腦就能做所有人腦能做的事情——只要讓它學習和吸收資訊就好了。如果做這事情的工程師夠厲害的話，他們模擬出來的人腦甚至會有原本人腦的人格和記憶，電腦模擬出的人腦就會像原本的人腦一樣——這就是非常符合人類標準的強人工智慧，然後我們就能把它改造成一個更加厲害的超人工智慧了。

我們離整腦模擬還有多遠呢？至今為止，我們剛剛能夠模擬1毫米長的扁蟲的大腦，這個大腦含有302個神經元。人類的大腦有1000億個神經元，聽起來還差很遠。但是要記住指數增長的威力——我們已經能模擬小蟲子的大腦了，螞蟻的大腦也不遠了，接著就是老鼠的大腦，到那時模擬人類大腦就不是那麼不現實的事情了。

2）模仿生物演化

抄學霸的答案當然是一種方法，但是如果學霸的答案太難抄了呢？那我們能不能學一下學霸備考的方法？

首先我們很確定的知道，建造一個和人腦一樣強大的電腦是可能的——我們的大腦就是證據。如果大腦太難完全模擬，那麼我們可以模擬演化出大腦的過程。事實上，就算我們真的能完全模擬大腦，結果也就好像照抄鳥類翅膀的拍動來造飛機一樣——很多時候最好的設計機器的方式並不是照抄生物設計。

所以我們可不可以用模擬演化的方式來造強人工智慧呢？這種方法叫作“基因演算法”，它大概是這樣的：建立一個反覆運作的表現/評價過程，就好像生物通過生存這種方式來表現，並且以能否生養後代為評價一樣。一組電腦將執行各種任務，最成功的將會“繁殖”，把各自的程式融合，產生新的電腦，而不成功的將會被剔除。經過多次的反覆後。這個自然選擇的過程將產生越來越強大的電腦。而這個方法的難點是建立一個自動化的評價和繁殖過程，使得整個流程能夠自己執行。

這個方法的缺點也是很明顯的，演化需要經過幾十億年的時間，而我們卻只想花幾十年時間。

但是比起自然演化來說，我們有很多優勢。首先，自然演化是沒有預知能力的，它是隨機的——它產生的沒用的變異比有用的變異多很多，但是人工模擬的演化可以控制過程，使其著重於有益的變化。其次，自然演化是沒有目標的，自然演化出的智慧也不是它目標，特定環境甚至對於更高的智慧是不利的（因為高等智慧消耗很多能源）。但是我們可以指揮演化的過程超更高智慧的方向發展。再次，要產生智慧，自然演化要先產生其它的附件，比如改良細胞產生能量的方法，但是我們完全可以用電力來代替這額外的負擔。所以，人類主導的演化會比自然快很多很多，但是我們依然不清楚這些優勢是否能使模擬演化成為可行的策略。

3）讓電腦來解決這些問題

如果抄學霸的答案和模擬學霸備考的方法都走不通，那就乾脆讓考題自己解答自己吧。這種想法很無厘頭，確實最有希望的一種。

總的思路是我們建造一個能進行兩項任務的電腦——研究人工智慧和修改自己的程式碼。這樣它就不只能改進自己的架構了，我們直接把電腦變成了電腦科學家，提高電腦的智慧就變成了電腦自己的任務。

以上這些都會很快發生

硬體的快速發展和軟體的創新是同時發生的，強人工智慧可能比我們預期的更早降臨，因為：

1）指數級增長的開端可能像蝸牛漫步，但是後期會跑的非常快

2）軟體的發展可能看起來很緩慢，但是一次頓悟，就能永遠改變進步的速度。就好像在人類還信奉地心說的時候，科學家們沒法計算宇宙的運作方式，但是日心說的發現讓一切變得容易很多。創造一個能自我改進的電腦來說，對我們來說還很遠，但是可能一個無意的變動，就能讓現在的系統變得強大千倍，從而開啟朝人類級別智慧的衝刺。

強人工智慧到超人工智慧之路

總有一天，我們會造出和人類智慧相當的強人工智慧電腦，然後人類和電腦就會平等快樂的生活在一起。

呵呵，逗你呢。

即使是一個和人類智慧完全一樣，運算速度完全一樣的強人工智慧，也比人類有很多優勢：

硬體上：

-速度。腦神經元的運算速度最多是200赫茲，今天的微處理器就能以2G赫茲，也就是神經元1000萬倍的速度執行，而這比我們達成強人工智慧需要的硬體還差遠了。大腦的內部資訊傳播速度是每秒120米，電腦的資訊傳播速度是光速，差了好幾個數量級。

- 容量和儲存空間。人腦就那麼大，後天沒法把它變得更大，就算真的把它變得很大，每秒120米的資訊傳播速度也會成為巨大的瓶頸。電腦的物理大小可以非常隨意，使得電腦能運用更多的硬體，更大的記憶體，長期有效的儲存介質，不但容量大而且比人腦更準確。

- 可靠性和永續性。電腦的儲存不但更加準確，而且電晶體比神經元更加精確，也更不容易萎縮（真的壞了也很好修）。人腦還很容易疲勞，但是電腦可以24小時不停的以峰值速度運作。

軟體上來說：

- 可編輯性，升級性，以及更多的可能性。和人腦不同，電腦軟體可以進行更多的升級和修正，並且很容易做測試。電腦的升級可以加強人腦比較弱勢的領域——人腦的視覺元件很發達，但是工程元件就挺弱的。而電腦不但能在視覺元件上匹敵人類，在工程元件上也一樣可以加強和優化。

- 集體能力。人類在集體智慧上可以碾壓所有的物種。從早期的語言和大型社群的形成，到文字和印刷的發明，再到網際網路的普及。人類的集體智慧是我們統治其它物種的重要原因之一。而電腦在這方面比我們要強的很多，一個執行特定程式的人工智慧網路能夠經常在全球範圍內自我同步，這樣一臺電腦學到的東西會立刻被其它所有電腦學得。而且電腦叢集可以共同執行同一個任務，因為異見、動力、自利這些人類特有的東西未必會出現在電腦身上。

通過自我改進來達成強人工智慧的人工智慧，會把“人類水平的智慧”當作一個重要的里程碑，但是也就僅此而已了。它不會停留在這個里程碑上的。考慮到強人工智慧之於人腦的種種優勢，人工智慧只會在“人類水平”這個節點做短暫的停留，然後就會開始大踏步向超人類級別的智慧走去。 

這一切發生的時候我們很可能被嚇尿，因為從我們的角度來看 a)雖然動物的智慧有區別，但是動物智慧的共同特點是比人類低很多；b)我們眼中最聰明的人類要比最愚笨的人類要聰明很很很很多。

所以，當人工智慧開始朝人類級別智慧靠近時，我們看到的是它逐漸變得更加智慧，就好像一個動物一般。然後，它突然達到了最愚笨的人類的程度，我們到時也許會感慨：“看這個人工智慧就跟個腦殘人類一樣聰明，真可愛。”

但問題是，從智慧的大局來看，人和人的智慧的差別，比如從最愚笨的人類到愛因斯坦的差距，其實是不大的。所以當人工智慧達到了腦殘級別的智慧後，它會很快變得比愛因斯坦更加聰明：

之後呢？

智慧爆炸

從這邊開始，這個話題要變得有點嚇人了。我在這裡要提醒大家，以下所說的都是大實話——是一大群受人尊敬的思想家和科學家關於未來的誠實的預測。你在下面讀到什麼離譜的東西的時候，要記得這些東西是比你我都聰明很多的人想出來的。

像上面所說的，我們當下用來達成強人工智慧的模型大多數都依靠人工智慧的自我改進。但是一旦它達到了強人工智慧，即使算上那一小部分不是通過自我改進來達成強人工智慧的系統，也會聰明到能夠開始自我改進。

這裡我們要引出一個沉重的概念——遞迴的自我改進。這個概念是這樣的：一個執行在特定智慧水平的人工智慧，比如說腦殘人類水平，有自我改進的機制。當它完成一次自我改進後，它比原來更加聰明瞭，我們假設它到了愛因斯坦水平。而這個時候它繼續進行自我改進，然而現在它有了愛因斯坦水平的智慧，所以這次改進會比上面一次更加容易，效果也更好。第二次的改進使得他比愛因斯坦還要聰明很多，讓它接下來的改進進步更加明顯。如此反覆，這個強人工智慧的智慧水平越長越快，直到它達到了超人工智慧的水平——這就是智慧爆炸，也是加速回報定律的終極表現。

現在關於人工智慧什麼時候能達到人類普遍智慧水平還有爭議。對於數百位科學家的問卷調查顯示他們認為強人工智慧出現的中位年份是2040年——距今只有25年。這聽起來可能沒什麼，但是要記住，很多這個領域的思想家認為從強人工智慧到超人工智慧的轉化會快得多。以下的情景很可能會發生：一個人工智慧系統花了幾十年時間到達了人類腦殘智慧的水平，而當這個節點發生的時候，電腦對於世界的感知大概和一個四歲小孩一般；而在這節點後一個小時，電腦立馬推匯出了統一廣義相對論和量子力學的物理學理論；而在這之後一個半小時，這個強人工智慧變成了超人工智慧，智慧達到了普通人類的17萬倍。

這個級別的超級智慧不是我們能夠理解的，就好像蜜蜂不會理解凱恩斯經濟學一樣。在我們的語言中，我們把130的智商叫作聰明，把85的智商叫作笨，但是我們不知道怎麼形容12952的智商，人類語言中根本沒這個概念。

但是我們知道的是，人類對於地球的統治教給我們一個道理——智慧就是力量。也就是說，一個超人工智慧，一旦被創造出來，將是地球有史以來最強大的東西，而所有生物，包括人類，都只能屈居其下——而這一切，有可能在未來幾十年就發生。

想一下，如果我們的大腦能夠發明Wifi，那麼一個比我們聰明100倍、1000倍、甚至10億倍的大腦說不定能夠隨時隨地操縱這個世界所有原子的位置。那些在我們看來超自然的，只屬於全能的上帝的能力，對於一個超人工智慧來說可能就像按一下電燈開關那麼簡單。防止人類衰老，治療各種不治之症，解決世界饑荒，甚至讓人類永生，或者操縱氣候來保護地球未來的什麼，這一切都將變得可能。同樣可能的是地球上所有生命的終結。 

當一個超人工智慧出生的時候，對我們來說就像一個全能的上帝降臨地球一般。

這時候我們所關心的就是

這篇文章的第一部分完了，我建議你休息一下，喝點水，下面我們要開始第二部分。

第二部分開始：

文章的第一部分討論了已經在我們日常生活中隨處可見的弱人工智慧，然後討論了為什麼從弱人工智慧到強人工智慧是個很大的挑戰，然後我們談到了為什麼技術進步的指數級增長表面強人工智慧可能並不那麼遙遠。第一部分的結束，我們談到了一旦機器達到了人類級別的智慧，我們將見到如下的場景：

這讓我們無所適從，尤其考慮到超人工智慧可能會發生在我們有生之年，我們都不知道該用什麼表情來面對。 

再我們繼續深入這個話題之前，讓我們提醒一下自己超級智慧意味著什麼。

很重要的一點是速度上的超級智慧和質量上的超級智慧的區別。很多人提到和人類一樣聰明的超級智慧的電腦，第一反應是它運算速度會非常非常快——就好像一個運算速度是人類百萬倍的機器，能夠用幾分鐘時間思考完人類幾十年才能思考完的東西

這聽起來碉堡了，而且超人工智慧確實會比人類思考的快很多，但是真正的差別其實是在智慧的質量而不是速度上。用人類來做比喻，人類之所以比猩猩智慧很多，真正的差別並不是思考的速度，而是人類的大腦有一些獨特而複雜的認知模組，這些模組讓我們能夠進行復雜的語言呈現、長期規劃、或者抽象思考等等，而猩猩的腦子是做不來這些的。就算你把猩猩的腦子加速幾千倍，它還是沒有辦法在人類的層次思考的，它依然不知道怎樣用特定的工具來搭建精巧的模型——人類的很多認知能力是猩猩永遠比不上的，你給猩猩再多的時間也不行。

而且人和猩猩的智慧差別不只是猩猩做不了我們能做的事情，而是猩猩的大腦根本不能理解這些事情的存在——猩猩可以理解人類是什麼，也可以理解摩天大樓是什麼，但是它不會理解摩天大樓是被人類造出來的，對於猩猩來說，摩天大樓那麼巨大的東西肯定是天然的，句號。對於猩猩來說，它們不但自己造不出摩天大樓，它們甚至沒法理解摩天大樓這東西能被任何東西造出來。而這一切差別，其實只是智慧的質量中很小的差別造成的。 

而當我們在討論超人工智慧時候，智慧的範圍是很廣的，和這個範圍比起來，人類和猩猩的智慧差別是細微的。如果生物的認知能力是一個樓梯的話，不同生物在樓梯上的位置大概是這樣的：

要理解一個具有超級智慧的機器有多牛逼，讓我們假設一個在上圖的樓梯上站在深綠色臺階上的一個機器，它站的位置只比人類高兩層，就好像人類比猩猩只高兩層一樣。這個機器只是稍微有點超級智慧而已，但是它的認知能力之於人類，就好像人類的認知能力之於猩猩一樣。就好像猩猩沒有辦法理解摩天大樓是能被造出來的一樣，人類完全沒有辦法理解比人類高兩層臺階的機器能做的事情。就算這個機器試圖向我們解釋，效果也會像教猩猩造摩天大樓一般。

而這，只是比我們高了兩層臺階的智慧罷了，站在這個樓梯頂層的智慧之於人類，就好像人類之於螞蟻一般——它就算花再多時間教人類一些最簡單的東西，我們依然是學不會的。

但是我們討論的超級智慧並不是站在這個樓梯頂層，而是站在遠遠高於這個樓梯的地方。當智慧爆炸發生時，它可能要花幾年時間才能從猩猩那一層往上邁一步，但是這個步子會越邁越快，到後來可能幾個小時就能邁一層，而當它超過人類十層臺階的時候，它可能開始跳著爬樓梯了——一秒鐘爬四層臺階也未嘗不可。所以讓我們記住，當第一個到達人類智慧水平的強人工智慧出現後，我們將在很短的時間內面對一個站在下圖這樣很高很高的樓梯上的智慧（甚至比這更高百萬倍）：

前面已經說了，試圖去理解比我們高兩層臺階的機器就已經是徒勞的，所以讓我們很肯定的說，我們是沒有辦法知道超人工智慧會做什麼，也沒有辦法知道這些事情的後果。任何假裝知道的人都沒搞明白超級智慧是怎麼回事。

自然演化花了幾億年時間發展了生物大腦，按這種說法的話，一旦人類創造出一個超人工智慧，我們就是在碾壓自然演化了。當然，可能這也是自然演化的一部分——可能演化真正的模式就是創造出各種各樣的智慧，直到有一天有一個智慧能夠創造出超級智慧，而這個節點就好像踩上了地雷的絆線一樣，會造成全球範圍的大爆炸，從而改變所有生物的命運。

科學界中大部分人認為踩上絆線不是會不會的問題，而是時間早晚的問題。想想真嚇人。

那我們該怎麼辦呢？ 

可惜，沒有人都告訴你踩到絆線後會發生什麼。但是人工智慧思想家Nick Bostrom認為我們會面臨兩類可能的結果——永生和滅絕。

首先，回顧歷史，我們可以看到大部分的生命經歷了這樣的歷程：物種出現，存在了一段時間，然後不可避免的跌落下生命的平衡木，跌入滅絕的深淵。

歷史上來說，“所有生物終將滅絕”就像“所有人都會死”一樣靠譜。至今為止，存在過的生物中99.9%都已經跌落了生命的平衡木，如果一個生物繼續在平衡木上走，早晚會有一陣風把它吹下去。Bostrom把滅絕列為一種吸引態——所有生物都有墜入的風險，而一旦墜入將沒有回頭。 

雖然大部分科學家都承認一個超人工智慧有把人類滅絕的能力，也有一些人為如果運用得當，超人工智慧可以幫助人類和其它物種，達到另一個吸引態——永生。Bostrom認為物種的永生和滅絕一樣都是吸引態，也就是我一旦我們達成了永生，我們將永遠不再面臨滅絕的危險——我們戰勝了死亡和機率。所以，雖然絕大多數物種都從平衡木上摔了下去滅絕了，Bostrom認為平衡木外是有兩面的，只是至今為止地球上的生命還沒聰明到發現怎樣去到永生這另一個吸引態。

如果Bostrom等思想家的想法是對的，而且根據我的研究他們確實很可能是對的，那麼我們需要接受兩個事實： 

1）超人工智慧的出現，將有史以來第一次，將物種的永生這個吸引態變為可能

2）超人工智慧的出現，將造成非常巨大的衝擊，而且這個衝擊可能將人類吹下平衡木，並且落入其中一個吸引態

有可能，當自然演化踩到絆線的時候，它會永久的終結人類和平衡木的關係，創造一個新的世界，不管這時人類還是不是存在。

而現在的問題就是：“我們什麼時候會踩到絆線？”以及“從平衡木上跌下去後我們會掉入哪個吸引態？”

沒人知道答案，但是一些聰明人已經思考了幾十年，接下來我們看看他們想出來了些什麼。

___________

先來討論“我們什麼時候會踩到絆線？”也就是什麼時候會出現第一個超級智慧。

不出意外的，科學家和思想家對於這個意見的觀點分歧很大。很多人，比如Vernor Vinge教授，科學家Ben Goertzel，SUN創始人Bill Joy，發明家和未來學家Ray Kurzweil，認同機器學習專家Jeremy Howard的觀點，Howard在TED演講時用到了這張圖：

這些人相信超級智慧會發生在不久的將來，因為指數級增長的關係，雖然機器學習現在還發展緩慢，但是在未來幾十年就會變得飛快。

其它的，比如微軟創始人Paul Allen，心理學家Gary Marcus，NYU的電腦科學家Ernest Davis，以及科技創業者Mitch Kapor認為Kurzweil等思想家低估了人工智慧的難度，並且認為我們離絆線還挺遠的。

Kurzweil一派則認為唯一被低估的其實是指數級增長的潛力，他們把質疑他們理論的人比作那些1985年時候看到發展速度緩慢的因特網，然後覺得因特網在未來不會有什麼大影響的人一樣。

而質疑者們則認為智慧領域的發展需要達到的進步同樣是指數級增長的，這其實把技術發展的指數級增長抵消了。

爭論如此反覆。

第三個陣營，包括Nick Bostrom在內，認為其它兩派都沒有理由對踩絆線的時間那麼有信心，他們同時認為 a) 這事情完全可能發生在不久的未來 b)但是這個事情沒個準，說不定會花更久

還有不屬於三個陣營的其他人，比如哲學家Hubert Dreyfus，相信三個陣營都太天真了，根本就沒有什麼絆線。超人工智慧是不會被實現的。

當你把所有人的觀點全部融合起來的話是怎樣呢？

2013年的時候，Bostrom做了個問卷調查，涵蓋了數百位人工智慧專家，問卷的內容是“你預測人類級別的強人工智慧什麼時候會實現”，並且讓回答者給出一個樂觀估計（強人工智慧有10%的可能在這一年達成），正常估計（有50%的可能達成），和悲觀估計（有90%可能達成）。當把大家的回答統計後，得出了下面的結果：

樂觀估計中位年（強人工智慧有10%的可能在這一年達成）：2022年

正常估計中位年（強人工智慧有50%的可能在這一年達成）：2040年

悲觀估計中位年（強人工智慧有90%的可能在這一年達成）：2075年

所以一箇中位的人工智慧專家認為25年後的2040年我們能達成強人工智慧，而2075年這個悲觀估計表明，如果你現在夠年輕，有一半以上的人工智慧專家認為在你的有生之年能夠有90%的可能見到強人工智慧的實現。 

另外一個獨立的調查，由作家James Barrat在Ben Goertzel的強人工智慧年會上進行，他直接問了參與者認為強人工智慧哪一年會實現，選項有2030年，2050年，2100年，和永遠不會實現。結果是： 

2030年：42%的回答者認為強人工智慧會實現

2050年：25%的回答者

2100年：20%

2100年以後：10%

永遠不會實現：2%

這個結果和Bostrom的結果很相似。在Barrat的問卷中，有超過三分之二的參與者認為強人工智慧會在2050年實現，有近乎半數（42%）的人認為未來15年（2030年）就能實現。並且，只有2%的參與者認為強人工智慧永遠不會實現。

但是強人工智慧並不是絆線，超人工智慧才是。那麼專家們對超人工智慧是怎麼想的呢？

Bostrom的問卷還詢問專家們認為達到超人工智慧要多久，選項有a)達成強人工智慧兩年內，b)達成強人工智慧30年內。問卷結果如下：

中位答案認為強人工智慧到超人工智慧只花2年時間的可能性只有10%左右，但是30年之內達成的可能性高達75%

從以上答案，我們可以估計一箇中位的專家認為強人工智慧到超人工智慧可能要花20年左右。所以，我們可以得出，現在全世界的人工智慧專家中，一箇中位的估計是我們會在2040年達成強人工智慧，並在20年後的2060年達成超人工智慧——也就是踩上了絆線。

當然，以上所有的資料都是推測，它只代表了現在人工智慧領域的專家的中位意見，但是它告訴我們的是，很大一部分對這個領域很瞭解的人認為2060年是一個實現超人工智慧的合理預測——距今只有45年。

那麼我們來看一下下一個問題，踩到絆線後，我們將跌向平衡木的哪一個方向？

超級智慧會產生巨大的力量，所以關鍵的問題時——到時這股力量究竟由誰掌握，掌握這份力量的人會怎麼做？

這個問題的答案將決定超人工智慧究竟是天堂還是地獄。

同樣的，專家們在這個問題上的觀點也不統一。Bostrom的問卷顯示專家們看待強人工智慧對於人類社會的影響時，52%認為結果會是好或者非常好的，31%認為會是糟糕的或者非常糟糕的，只有17%的人認為結果會是不好不壞的。也就是說，這個領域的專家普遍認為這將是一個很大的事情，不論結果好壞。要注意的是，這個問題問的是強人工智慧，如果問的是超人工智慧，認為結果不好不壞的人可能不會有17%這麼多。

在我們深入討論好壞這個問題之前，我們先把“什麼時候會發生”和“這是好事還是壞事”的結果綜合起來畫張表，這代表了大部分專家的觀點：

我們等下再考慮主流陣營的觀點。咱們先來問一下你自己是怎麼想的，其實我大概能猜到你是怎麼想的，因為我開始研究這個問題前也是這樣的想的。很多人其實不關心這個話題，原因無非是：

像本文第一部分所說，電影展示了很多不真實的人工智慧場景，讓我們認為人工智慧不是正經的課題。作家James Barrat把這比作傳染病控制中心釋出吸血鬼警報一樣滑稽。

因為認知偏差，所以我們在見到證據前很難相信一件事情是真的。我確信1988年的時候電腦科學家們就已經常在討論因特網將是多麼重要，但是一般人並不會認為因特網會改變他們的生活——直到他們的生活真的被改變了。一方面，1988年的電腦確實不夠給力，所以那時的人們看著電腦會想：“這破玩意兒也能改變我的生活，你逗我吧？”人們的想象力被自己對於電腦的體驗而約束。讓他們難以想象電腦會變成現在的樣子。同樣的事情正發生在人工智慧領域。我們聽到很多人說人工智慧將會造成很大影響，但是因為這個事情還沒發生，因為我們和一些弱爆了的人工智慧系統的個人經歷，讓我們難以相信這東西真的能改變我們的生活。而這些認知偏差，正是專家們在努力對抗的。 

就算我們相信人工智慧的巨大潛力，你今天又花了多少時間思考“在接下來的永恆中，絕大部分時間我都不會再存在”這個問題？雖然這個問題比你今天干的大部分事情都重要很多，但是正常人都不會老是想這個吧。這是因為你的大腦總是關注日常的小事，不管長期來看有多少重要的事情，我們天生就是這麼思考的。

這篇東西的主要目標就是讓你脫離普通人陣營，加入專家思考的陣營，哪怕能讓你站到兩條不確定線的交點上，目標也達到了。

在我的研究中，我見識到了各種各樣的觀點，但是我發現大多數人的觀點都停留在主流陣營中。事實上超過四分之三的專家都屬於主流陣營中的兩個小陣營：焦慮大道和信心角

我們將對這兩個小陣營做深入的談論，讓我們從比較有趣的那個開始吧

為什麼未來會是天堂

研究人工智慧這個領域後，我發現有比預期的多得多的人站在信心角當中：

站在信心角中的人非常興奮，他們認為他們將走向平衡木下比較有趣的那個吸引態，未來將實現他們的夢想，他們只需耐心等待。

把這一部分人從其他思想家區分開來的是這些人對於比較有趣的那個吸引態的慾望——他們很有信心永生是我們的發展方向。

這份信心是哪裡來的不好說，評論家認為是這些人太過興奮而產生了盲點，忽略了可能的負面結果。但是信心角的人還是把批評者當作末日論者來看待，他們認為技術會繼續幫助我們而不是傷害我們。

兩邊的觀點我們都會說，這樣你能形成自己的觀點，但是在讀下面的內容前，請把質疑暫時擱置，讓我們看看平衡木兩邊究竟有什麼，並且記住這些事情是有可能發生的。如果我們給一個打獵採集者看我們現在的舒適家居、技術、富庶，在他眼裡這一切也會像魔法一樣——我們也要接受未來完全可能出現能把我們嚇尿的變革。

Bostrom描述了三種超人工智慧可能的工作模式

-  先知模式：能準確回答幾乎所有的問題，包括對人類來說很困難的複雜問題，比如“怎樣造一個更好的汽車引擎？”

-  精靈模式：能夠執行任何高階指令，比如用分子組合器造一個更好的汽車引擎出來

- 獨立意志模式（sovereign）:可以執行開放式的任務，能在世界裡自由活動，可以自己做決定，比如發明一種比汽車更快、更便宜、更安全的交通模式。

這些對人類來說很複雜的問題，對於一個超級智慧來說可能就像“我的筆掉了，你能幫我撿一下嗎？”這麼簡單。

Eliezer Yudkowsky，是這麼說的：

信心角里有很多熱忱的科學家、發明家和創業者，但是對於人工智慧的未來最有發言權的，當屬Ray Kurzweil.

對於Kurzweil的評價非常兩極化，既有如對神人般的崇拜，也有翻白眼似的不屑。也有一些中立主義者，比如作家Douglas Hofstadter，他覺得Kurzweil的觀點就好像把美食和狗屎混在一起，讓你分不清是好是壞。

不管你同不同意Kurzweil的觀點，他都是一個牛人。他年輕時候就開始搞發明，之後幾十年發明了很多東西，比如第一臺平板掃描器，第一臺能把文字轉化為語言的掃描器（盲人使用），著名的Kurzweil音樂合成器（第一臺真正意義上的電子鋼琴），以及第一套商業銷售的語音識別系統。他是五本暢銷書的作者。他很喜歡做大膽的預測，而且一直很準，比如他80年代末的時候預測到2000年後因特網會成為全球級的現象。他被《華爾街日報》成為“不休的天才”，被《福布斯》稱為“終極思想機器”，被《Inc.》稱作“愛迪生真正的傳人”，被比爾蓋茨稱為“我認識的對人工智慧預測最厲害的人。”2012年穀歌創始人Larry Page曾邀請他擔任谷歌的工程總監，2011年他共同創立了奇點大學（Singularity University），現在大學由美國太空總署運運營，由谷歌贊助。

Kurzweil的經歷很重要，因為當他講述自己對未來的願景時，他聽起來就是個瘋子，但是他不瘋，恰恰相反，他非常聰明而有知識。你可能覺得他對於未來的想法是錯的，但是他不傻。知道他是一個聰明人讓我很開心，因為當我知道他對未來的預測後，我急切的很希望他的預測是對的。信心角中的很多思想家都認同Kurzweil的預測，他也有很多粉絲，被稱為奇點主義者。

時間線

Kurzweil相信電腦會在2029年達成強人工智慧，而到了2045年，我們不但會有超人工智慧，還會有一個完全不同的世界——奇點時代。他的人工智慧時間線曾經被認為非常的狂熱，現在也還是有很多人這麼認為，但是過去15年弱人工智慧的快速發展讓更多的專家靠近了Kurzweil的時間線。雖然他的時間線比之前提到的2040年和2060年更加早，但是並沒有早多少。

Kurzweil的奇點時代是三個技術領域的共同革命造成的——生物技術、納米技術和最重要的人工智慧技術。

在我們繼續討論人工智慧前，讓我們談一下納米技術這個任何關於人工智慧的討論都會涉及到的領域

納米技術

納米技術說的是在1-100納米的範圍內操縱物質的技術。一納米是一米的十億分之一，是一毫米的一百萬分之一。1-100納米這個範圍涵蓋了病毒（100納米長），DNA（10納米寬）， 大分子比如血紅蛋白（5納米），和中分子比如葡萄糖（1納米）。當我們能夠完全掌握納米技術的時候，我們離在原子層面操縱物質就只差一步了，因為那只是一個數量級的差距（約0.1納米）。

要了解在納米量級操縱物質有多困難，我們可以換個角度來比較。國際空間站距離地面431公里。如果一個人身高431公里，也就是他站著能夠頂到國際空間站的話，他將是普通人類的25萬倍大。如果你把1-100納米放大25萬倍，你算出的是0.25毫米-25毫米。所以人類使用納米技術，就相當於一個身高431公里的巨人用沙子那麼大的零件搭精巧的模型。如果要達到原子級別操縱物質，就相當於讓這個431公里高的巨人使用0.025毫米大的零件。

關於納米技術的思考，最早由物理學家費曼在1959年提出，他解釋道：“據我所知，物理學的原理，並不認為在原子級別操縱物質是不可能的。原則上來說，物理學家能夠製造出任何化學家能寫出來的物質——只要把一個個原子按照化學家寫出來的放在一起就好了。”其實就是這麼簡單，所以我們只要知道怎樣移動單個的分子和原子，我們就可以造出任何東西。

工程師Eric Drexler提出納米級組裝機後，納米技術在1986年成為了一門正經的學科。納米級組裝機的工作原理是這樣的：一個牛逼掃描器掃描物件的3D原子模型，然後自動生成用來組裝的軟體。然後由一臺中央電腦和數萬億的納米“機器人”，通過軟體用電流來指揮納米機器人，最後組成所需要的物件。

--------------------------

再扯遠一點納米技術有一些不是那麼有趣的部分——能夠製造數萬億的納米機器人唯一合理的方法就是製造可以自我複製的範本，然後讓指數級增長來完成建造任務。很機智吧？

是很機智，但是這一不小心就會造成世界末日。指數級增長雖然能很快的製造數萬億的納米機器人，但這也是它可怕的地方——如果系統出故障了，指數級增長沒有停下來，那怎麼辦？納米機器人將會吞噬所有碳基材料來支援自我複製，而不巧的是，地球生命就是碳基的。地球上的生物質量大概包含10^45個碳原子。一個納米機器人有10^6個碳原子的話，只需要10^39個納米機器人就能吞噬地球上全部的生命了，而2^130約等於10^39，也就是說自我複製只要進行130次就能吞噬地球生命了。科學家認為納米機器人進行一次自我複製只要100秒左右，也就是說一個簡單的錯誤可能就會在3.5小時內毀滅地球上全部的生命。更糟糕的是，如果恐怖分子掌握了納米機器人技術，並且知道怎麼操縱它們的話，他可以先造幾萬億個納米機器人，然後讓它們散播開來。然後他就能發動襲擊，這樣只要花一個多小時納米機器人就能吞噬一切，而且這種攻擊無法阻擋。未來真的是能把人嚇尿的。

等我們掌握了納米技術後，我們就能用它來製造技術產品、衣服、食物、和生物產品，比如人造紅細胞、癌症細胞摧毀者、肌肉纖維等等。而在納米技術的世界裡，一個物質的成本不再取決於它的稀缺程度或是製造流程的難度，而在於它的原子結構有多複雜。在納米技術的時代，鑽石可能比橡皮擦還便宜。

我們還沒掌握這種技術，我們甚至不知道我們對於達成這種技術的難度是高估了還是低估了，但是我們看上去離那並不遙遠。Kurzweil預測我們會在21世紀20年代掌握這樣的技術。各國政府知道納米技術將能改變地球，所以他們投入了很多錢到這個領域，美國、歐盟和日本至今已經投入了50億美元。

設想一下，一個具有超級智慧的電腦，能夠使用納米級的組裝器，是種什麼樣的體驗？要記得納米技術是我們在研究的玩意兒，而且我們就快掌握這項技術了，而我們能做的一切在超人工智慧看來就是小兒科罷了，所以我們要假設超人工智慧能夠創