神經網路是從大腦中獲得靈感的模型系列，用於近似依賴於大量輸入的函式，是一個非常好的模式識別模型。

神經網路是非線性假設的示例，其中模型可以學習對更為複雜的關係進行分類。對於大量功能，它的擴充套件性也比Logistic迴歸好。

它是由人工神經元組成的，這些神經元是分層組織的。我們有3種類型的圖層：

• 輸入層
• 隱藏層
• 輸出層

我們根據神經網路的隱藏層數及其連線方式對神經網路進行分類，例如，上面的網路具有2個隱藏層。同樣，如果神經網路有/沒有迴圈，我們可以將其分類為遞迴或前饋神經網路。

來自2個以上隱藏層的神經網路可以視為深度神經網路。使用更深入的神經網路的優勢在於可以識別出更復雜的模式。

下面是一個2層前饋人工神經網路的示例。想象一下，神經元之間的連線是訓練期間將學習的引數。在此示例中，層L1將是輸入層，層L2 / L3是隱藏層，層L4是輸出層。

神經網路

現在，在您開始思考可以建立一個巨大的神經網路並呼叫強大的AI之前，請記住以下幾點：

• 人工神經元的發射與大腦完全不同
• 人腦具有1000億個神經元和100萬億個連線（突觸），並以20瓦的功率執行（足以執行昏暗的燈泡）-相比之下，最大的神經網路在16,000個CPU（約300萬個）上具有1000萬個神經元和10億個連線瓦特）
• 從5種感官中，大腦僅限於5種類型的輸入資料
• 孩子們不會通過檢視100,000張標有“牛”和“不是牛”的圖片來了解母牛是什麼，但這就是機器學習的原理
• 可能我們無法通過計算與我們的初始概念相關的每個神經元的偏導數來學習。 （順便說一句，我們不知道我們如何學習）

人工神經元

如圖所示，單個的人工神經元在w和x之間做一個點積，然後加上一個偏差，結果傳遞給啟用函式，該函式將增加一些非線性。神經網路將由那些人工神經元組成。

非線性將允許分別學習同一類別的物件的不同變化。與線性分類器相比，這是一種不同的行為，線性分類器試圖通過一組權重來學習同一類別的所有不同變體。越多的神經元和越多的層總是更好，但是需要更多的資料來訓練。

每層都從上一層學習一個概念。因此，擁有更深的神經網路比擁有廣泛的神經網路更好，我們也花了20年的時間發現了這一點。