用平常語言介紹神經網路

(Neural Networks in Plain English)

神經網路介紹（Introduction to Neural Networks)
    曾有很長一個時期，人工神經網路對我來說是完全神祕的東西。當然，有關它們我在文獻中已經讀過了，我也能描述它們的結構和工作機理，但我始終沒有能“啊哈！”一聲，如同你頭腦中一個難於理解的概念有幸突然得到理解時的感覺那樣。我的頭上好象一直有個榔頭在敲著，或者像電影Animal House (中文片名為“動物屋”)中那個在痛苦地尖叫“先生，謝謝您，再給我一個啊！”的可憐傢伙那樣。我無法把數學概念轉換成實際的應用。有時我甚至想把我讀過的所有神經網路的書的作者都抓起來，把他們縛到一棵樹上，大聲地向他們吼叫：“不要再給我數學了，快給我一點實際 東西吧！”。但無需說，這是永遠不可能發生的事情。我不得不自己來填補這個空隙...由此我做了在那種條件下唯一可以做的事情。我開始幹起來了。<一笑> 

這樣幾個星期後，在一個美麗的日子裡，當時我在蘇格蘭海邊度假，當我越過一層薄霧凝視著狹長的海灣時，我的頭腦突然受到一個衝擊。一下子悟到了人工神經網路是怎樣工作的。我得到“啊哈！”的感覺了！但我此時身邊只有一個帳篷和一個睡袋，還有半盒子的脆玉米片，沒有電腦可以讓我迅速寫出一些程式碼來證實我的直覺。Arghhhhh！這時我才想到我應該買一臺手提電腦。不管怎樣，幾天後我回到家了，我立刻讓我的手指在鍵盤上飛舞起來。幾個小時後我的第一人工神經網路程式終於編成和運行了，並且工作得挺好！自然，程式碼寫的有點亂，需要進行整理，但它確實已能工作了，並且，更重要的是，我還知道它為什麼能工作。我可以告訴你，那天我是一位非常非常得意的人！

我希望本書傳遞給你的就是這種“啊哈！”感覺。當我們學完遺傳演算法時，你可能已嚐到了一點感覺，但你希望這種感覺是美妙的話，那就要等把神經網路部分整個學完。


生物學的神經網路-大腦(A Biological Neural Network–The Brain)

你的大腦是一塊灰色的、像奶凍一樣的東西。它並不像電腦中的CPU那樣，利用單個或少數幾個處理單元來進行工作。如果你有一具新鮮地儲存到福爾馬林中的屍體，用一把鋸子小心地將它的頭骨鋸開，搬掉頭蓋骨後，你就能看到熟悉的腦組織皺紋。大腦的外層象一個大核桃那樣，全部都是起皺的[圖0左]，這一層組織就稱皮層(Cortex)。如果你再小心地用手指把整個大腦從頭顱中端出來，再去拿一把外科醫生用的手術刀，將大腦切成片，那麼你將看到大腦有兩層[圖0右]: 灰色的外層(這就是“灰質”一詞的來源，但沒有經過福爾馬林固定的新鮮大腦實際是粉紅色的。) 和白色的內層。灰色層只有幾毫米厚，其中緊密地壓縮著幾十億個被稱作neuron（神經細胞、神經元）的微小細胞。白色層在皮層灰質的下面，佔據了皮層的大部分空間，是由神經細胞相互之間的無數連線線組成（但沒有神經細胞本身，正如印刷電路板的背面，只有元件的連線，而沒有元件本身那樣，譯註）。皮層象核桃一樣起皺，這可以把一個很大的表面區域塞進到一個較小的空間裡。這與光滑的皮層相比能容納更多的神經細胞。人的大腦大約含有10G（即100億）個這樣的微小處理單元;一隻螞蟻的大腦大約也有250,000個。 

以下表1 顯示了人和幾種動物的神經細胞的數目。

1 大腦半球像半個核桃 2 大腦皮層由灰質白質組成 圖0 大腦的外形和切片形狀

 圖1 神經細胞的結構

  在人的生命的最初9個月內，這些細胞以每分鐘25,000個的驚人速度被創建出來。神經細胞和人身上任何其他型別細胞十分不同，每個神經細胞都長著一根像電線一樣的稱為軸突（axon）的東西，它的長度有時伸展到幾釐米［譯註2］，用來將訊號傳遞給其他的神經細胞。神經細胞的結構如圖1 所示。它由一個細胞體(soma)、一些樹突(dendrite) 、和一根可以很長的軸突組成。神經細胞體是一顆星狀球形物，裡面有一個核(nucleus)。樹突由細胞體向各個方向長出，本身可有分支，是用來接收訊號的。軸突也有許多的分支。軸突通過分支的末梢(terminal)和其他神經細胞的樹突相接觸,形成所謂的突觸(Synapse), （圖中未畫出），一個神經細胞通過軸突和突觸把產生的訊號送到其他的神經細胞。

每個神經細胞通過它的樹突和大約10,000個其他的神經細胞相連。這就使得你的頭腦中所有神經細胞之間連線總計可能有l00,000,000,000,000個。這比100兆個現代電話交換機的連線數目還多。所以毫不奇怪為什麼我們有時會產生頭疼毛病！

   神經細胞利用電-化學過程交換訊號。輸入訊號來自另一些神經細胞。這些神經細胞的軸突末梢（也就是終端）和本神經細胞的樹突相遇形成突觸（synapse），訊號就從樹突上的突觸進入本細胞。訊號在大腦中實際怎樣傳輸是一個相當複雜的過程，但就我們而言，重要的是把它看成和現代的計算機一樣，利用一系列的0和1來進行操作。就是說，大腦的神經細胞也只有兩種狀態：興奮（fire）和不興奮（即抑制）。發射訊號的強度不變，變化的僅僅是頻率。神經細胞利用一種我們還不知道的方法,把所有從樹突突觸上進來的訊號進行相加，如果全部訊號的總和超過某個閥值，就會激發神經細胞進入興奮（fire）狀態，這時就會有一個電訊號通過軸突發送出去給其他神經細胞。如果訊號總和沒有達到閥值，神經細胞就不會興奮起來。這樣的解釋有點過分簡單化，但已能滿足我們的目的。

   正是由於數量巨大的連線，使得大腦具備難以置信的能力。儘管每一個神經細胞僅僅工作於大約100Hz的頻率，但因各個神經細胞都以獨立處理單元的形式並行工作著，使人類的大腦具有下面這些非常明顯的特點：

能實現無監督的學習。  有關我們的大腦的難以置信的事實之一，就是它們能夠自己進行學習，而不需要導師的監督教導。如果一個神經細胞在一段時間內受到高頻率的刺激，則它和輸入訊號的神經細胞之間的連線強度就會按某種過程改變，使得該神經細胞下一次受到激勵時更容易興奮。這一機制是50多年以前由Donard Hebb在他寫的Organination of Behavior一書中闡述的。他寫道: 

  與此相反的是，如果一個神經細胞在一段時間內不受到激勵，那麼它的連線的有效性就會慢慢地衰減。這一現象就稱可塑性（plasticity）。 

對損傷有冗餘性(tolerance)。 大腦即使有很大一部分受到了損傷，它仍然能夠執行復雜的工作。一個著名的試驗就是訓練老鼠在一個迷宮中行走。然後，科學家們將其大腦一部分一部分地、越來越大地加以切除。他們發現，即使老鼠的很大一部份大腦被切除，它們仍然能在迷宮中找到行走路徑。這一事實證明了，在大腦中，知識並不是儲存在一個區域性地方。另外所作的一些試驗則表明，如果大腦的一小部分受到損傷，則神經細胞能把損傷的連線重新生長出來。【譯註：我想到在人類身上也能見到這種現象：由於心血管病或其他原因引起大面積腦組織壞死的腦梗死病人經過一段時間的康復訓練後也能恢復健康，特別是，記憶力並不受損。】

處理資訊的效率極高。 神經細胞之間電-化學訊號的傳遞，與一臺數字計算機中CPU的資料傳輸相比，速度是非常慢的，但因神經細胞採用了並行的工作方式，使得大腦能夠同時處理大量的資料。例如，大腦視覺皮層在處理通過我們的視網膜輸入的一幅圖象訊號時，大約只要100ms的時間就能完成。考慮到你的神經細胞的平均工作頻率只有100Hz，100ms的時間就意味每秒只能完成10個計算步驟！想一想通過我們眼睛的資料量有多大，你就可以看到這真是一個難以置信的浩大工程了。 

善於歸納推廣。 大腦和數字計算機不同，它極擅長的事情之一就是模式識別，並能根據已熟悉資訊進行歸納推廣(generlize)。例如，我們能夠閱讀他人所寫的手稿上的文字，即使我們以前從來沒見過他所寫的東西。 

它是有意識的。 意識（consciousness）是神經學家和人工智慧的研究者廣泛而又熱烈地在辯論的一個話題。有關這一論題已有大量的文獻出版了，但對於意識實際究竟是什麼，至今尚未取得實質性的統一看法。我們甚至不能同意只有人類才有意識，或者包括動物王國中人類的近親在內才有意識。一頭猩猩有意識嗎？你家的貓有意識嗎？上星期晚餐中被你吃掉的那條魚有意識嗎？

因此，一個人工神經網路( Artificial neural network, ANN）簡稱神經網路（NN) 就是要在當代數字計算機現有規模的約束下，來模擬這種大量的並行性, 並在實現這一工作時，使它能顯示許多和人或動物大腦相類似的特性。下面就讓我們瞧瞧它們的表演吧！

【譯註1】引自John R.Searle的 “MINDS,BRAIN AND SCIENCE”，p44。John R.Searle是美國當代哲學-心理學家，寫過大量有關大腦和意識本質方面的書。

【譯註2】這是指全在大腦中神經細胞，否則，如果是支配全身各部分的神經細胞，則可以遠遠長得多，如超過一米。

【譯註3】一讀者指出：人的大腦中神經細胞的數目原書說為10G（=100億）個應有錯，應為860億個，即和大象100G有同一數量級才對。