熟悉神經網路的可能知道，Hornik在1989年，就證明了一個定理：

• 只需一個包含足夠多神經元的隱層，多層前饋神經網路就能以任意精度逼近任意複雜的連續函式

那大家可能就會有疑問：既然一個隱層就夠了，我們為什麼還需要多層神經網路呢？

我們可以從這個定理中找到可能思考方式：

• （1）足夠多神經元，你在實踐中能保證麼？
• （2）如果你要擬合的模型並不是連續函式，單個隱層夠嗎？

顯然，這兩個問題的回答都是否定的。

如果覺得我這個解釋過於粗糙，可以看Andrew Ng在新課程”Deep Learning”中的解釋。

下面這個圖，我們也能看到：

• 第一層，提取低層次的簡單特徵（邊緣特徵）
• 第二層，將簡單特徵組合成複雜一點的特徵（器官）
• 第三層，將第二層的特徵組合起來

Andrew Ng還提到，神經科學家們覺得，人的打到也是先探測簡單的東西，然後組合起來才能看到整體。