Nick Bostrom是一個怪異的哲學家。在所有擔心人工智能，殺手機器人和技術帶來的世界末日的人中，Bostrom想到的是最極端的情景。在他的想像中，人類滅絕只是開始。

Bostrom最喜歡的末日假設與一個被設定為制造回形針（或其它任何日常用品）的機器有關。這臺機器會越來越聰明，越來越強大，但不了解人類價值。它會獲得“超級智能”，然後將任何東西都變成回形針，甚至包括人類，地球和星系。

Bostrom曾輕描淡寫地表示，“很可能有這種一樣超級智能，它唯一的目標就是做更多的回形針，讓整個宇宙都是回形針。這會是一個低價值的未來。”

對機器智能，邪惡計算機的擔心已經逐漸成為主流，很少有科技會議上不會有人討論AI焦慮。霍金，比爾·蓋茨都在擔心，而特斯拉創始人馬斯克甚至投資了1000萬美元，用於研究如何讓機器智能處於控制之下。

這種觀點的盛行與媒體和技術的改變有關，它更多是一種猜測，甚至還有點癔想成分。但這一反應了一件事實：在我們所處的時代，機器智能已經成了生活的一部分。計算機控制著飛機，過不了多久也許能駕駛汽車了；算法會了解我們的需求，並展示針對性廣告；機器還能從人群中識別出我們的臉。基因工程和納米技術等新領域不錯發展並融合，我們不知道它們會產生怎麽樣的結果，部分嚴肅的人擔心潛在的危害，懷疑我們能否控制自己的發明。

科幻作家阿西莫夫在上世紀40年代寫機器人時，就預料到了這樣的情況。他發明了機器人三定律，第一條就是，“機器人不得傷害人類，或因不作為(袖手旁觀)使人類受到傷害”。阿西莫夫的三定律現在仍會被提及.

奇點可以追溯到1965年，當時英國數學家I.J. Good寫道，“超級智能機器肯定能夠設計出更加優良的機器，毫無疑問，隨後必將出現一場智能爆炸，人類的智能會被遠遠拋在後面。”1993年，科幻作家Vernor Vinge用“奇點”這個詞描述了這個時刻；後來發明家Ray Kurzweil寫了一系列書，預測奇點發生的年代。

Kurzweil現在是Google的工程主管，他可能是最知名的技術烏托邦主義者之一。他認為技術進步終將讓我們迎來人與機器智能融合，讓我們變成“超人”。

無論上面說的會不會發生，Bostrom很擔心我們沒有足夠的安全措施。他認為，人類可以將機器設定為永不傷害人類，但機器可能認為遵守這一規定的最好方式是不讓人類生育。另外，如果超級智能被設定為要讓人類微笑，那它們可能決定在人體植入電極，讓所有人保持微笑。

這些都是思想實驗，但他想表達的是，人類現在的狀況屬於異常，工具已經壓倒了自然的限制，讓人類看起來成了主宰，但如果技術反噬呢？

還有一個人更為激進：Max Tegmark。他是MIT物理系教授，也是未來生活研究所(FFI)的創始人，而這一機構就管理著馬斯克投資的錢。他認為未來是技術的力量與人類控制它的智慧之間的競爭，人類必須贏得競爭，但現在所有的資源都在助力技術的增長。

2014年4月，有33個人聚焦在Tegmark的家中，討論技術的威脅，後來他們決定成立FLI。Tegmark還說服了其他知名人士加入自己，其中包括Skype的創始人Jaan Tallinn，演員摩根·弗裏曼和Alan Alda。

Tegmark後來還發布了一篇專版文章，討論機器智能的潛在危險。文章署名作者還包括諾貝爾獎得主物理學家Frank Wilczek，人工智能專業Stuart Russell和霍金。文章中寫道，人工智能是“人類面臨的最好也最壞的事”。

那其他人的觀點呢？

離Tegmark的辦公室不遠的地方就是MIT的計算機科學與人工智能實驗室。實驗室主管Daniela Rus認為，“我沒想過這些事”。她正在開發絕不會發生碰撞的汽車。而且多數AI研究者都認為Bostrom和Tegmark的想法不太成熟，就像現在擔心火星會人口過剩。

Rus表示，機器人的優勢在算數和負重上，在精細運動上仍比不上人類，更不用提創造性和抽象思維。無人駕駛汽車就需要精確的地圖，而且只能應會可預測的環境，想要它們理解其他司機的手勢還是不可能的事。

擔心未來的人在考慮時可能還要考慮超級智能的反面：超級愚蠢(superstupidity)。我們現在依靠的復雜系統很容易在復雜和不可預測的情況下失靈。如果智能機器失靈了，會產生怎樣的後果？而且通常的情況下，沒人真正了解這些系統如何工作。如果加入自治功能，事物可能很快變成災難。2010年股市出現過閃電崩盤，以至於道瓊斯指數幾分鐘內直降近1000點，而部分原因來自自動化的超頻交易程序。

另一位MIT研究者Boris Katz就認為，我們每天都會做出很愚蠢會犯錯的東西。機器之所以危險是因為我們給了他們力量，讓其對感覺輸入作出反應。但人類制作的規則並不完善，所以機器會出錯，但這並不表示它們想殺死人類。

Bostrom也認為，如果開發不出超級智能，那會是件很遺憾的事，因為人工智能可為人類帶來更多的可能性，甚至幫我們實現星際殖民，以及思維上傳到計算機這種事。

Bostrom另一點比較科幻的想法是，他認為高級文明擁有無限的計算能力，超級智能可以創造出宇宙，在其中程序可以精確模擬出人類意識，註入虛假的記憶。他認為除非我們能排除機器可以模擬人類經驗的可能性，否則我們很可能就生活在這樣一個模擬世界中。這真的很科幻了。

姓名:陳博

為什麽科學家如此擔心人工智能？