我的人工智慧之旅——神經網路

阿新 • • 發佈：2018-11-12

神經元，neuron

神經網路，Neural Networks

啟用函式，activation function

權重，weight

輸入層，input layer

輸出層，output layer

隱藏層，hidden layer

向前傳播，forward propagation

人工神經網路

人工神經網路是一種機器學習演算法，興起於上世紀八九十年代，但由於其本身計算量較大，受制於當時的硬體運算速度，因而應用較少，直至近幾年才再度回到人們的視線。在我們已經學習了線性迴歸和邏輯迴歸的情況下，為什麼還要研究神經網路呢？原因在於，該學習演算法用於處理更加複雜的非線性假設。

舉個例子。圖片是以數字矩陣的方式儲存的。例如，50x50畫素的圖片，包含2500個畫素點，即50x50的點矩陣。若圖片是RGB色圖，每個點有紅綠藍三種顏色數值，那麼，該圖片樣本將包含7500個特徵值。若要將類似的圖片樣本，與其它樣本區分開來，通過遍歷所有二次項特徵（即x_i*x_j）構建假設函式，則假設函式將包含7500*7500個特徵值。這僅僅是50x50畫素的圖片，但無論線性迴歸還是邏輯迴歸，計算量是巨大的。

生物學中的許多神經重接實驗，已能夠間接證明，人腦皮層不同功能區域，似乎都具有某種相同的學習能力，用於學習其它不同區域的功能，而人工神經網路的目的正是模擬該學習功能。

人工神經元

人腦中存在大量的神經元細胞，人體所有的感知資訊都是通過神經元來傳遞的。神經元細胞有兩個重要的部分。一個是分叉樹狀的突起，稱為樹突，用於接收多個其它神經元傳入的資訊。一個是細長的軸突，用於向其它神經元傳送資訊。

人工神經網路是由一組人工神經元組成，人工神經元可以看做是一個運算單元。與人體神經元類似，人工神經元具有多個輸入（N階向量X），和一個輸出。執行在人工神經元上，將輸入對映為輸出的函式 $g(A^TX)$ ，稱為啟用函式。啟用函式中，每一個輸入特徵值 $x_i$ 都具有對應的引數 $a_i$ ，以表明該輸入對於輸出的影響。引數 $a_i$ 的集合（即 $A^T$ ）稱為權重。