Why deep learning?
1. 深度學習中網絡越深越好麽？
理論上說是這樣的，因為網絡越深，參數也越多，擬合能力也越強（但實際情況是，網絡很深的時候，不容易訓練，使得表現能力可能並不好）。
2. 那麽，不同什麽深度的網絡，在參數差不多大小的情況下，深的網絡會比淺的網絡表現能力好麽？即深度較深的網絡比較“瘦”，深度較淺的網絡比較“胖”。
一般來說，相同參數下深度較深的網絡表現能力也比深度較淺的網絡要好。
3. 為什麽深度較深的網絡的表現能力要比深度較淺的網絡要好？
1） 深層網絡更加結構化，很多子結構都可以共用
每一層的神經元其實就是一個分類器，第一層的神經元是最基礎的分類器，第二層神經元是比較復雜的分類器，它將第一層的output當做它的input，將第一層當做模塊，第三層同理，將第二層當做一個模塊。模塊化的好處是讓模型變得簡單，有些模塊可以共用，那麽就可以減少參數。
2） 理論上來說，只包含一層隱含層的神經網絡也可以擬合出任何函數，只要參數夠多。
但是，深層的網絡，我們可以使用更少的參數，更簡單的方法，就可以實現相同的功能。與數字電路裏的門電路類似，雖然二級門電路可以表示任何邏輯狀態，但是，使用多級門電路可以是實現方法更簡單，使用邏輯元器件更少。
4. 相關的一些資料
- ? Do Deep Nets Really Need To Be Deep? (by Rich Caruana)
? http://research.microsoft.com/apps/video/default.aspx?id=
232373&r=1
? Deep Learning: Theoretical Motivations (Yoshua Bengio)
? http://videolectures.net/deeplearning2015_bengio_the
oretical_motivations/
? Connections between physics and deep learning
? https://www.youtube.com/watch?v=5MdSE-N0bxs
? Why Deep Learning Works: Perspectives from Theoretical
Chemistry
? https://www.youtube.com/watch?v=kIbKHIPbxiU
Big data與deep learning的聯系與區別
如果我們有足夠多的數據，包含了世界上所以的數據，那麽其實就不需要深度學習/機器學習算法了，我們只需要查表就可以了，即給定件事物，我們只需要從數據庫中查找，就可以找出相關資料。但是實際上我們並沒有足夠多的數據，因此，我們需要深度學習/機器學習，需要從已知的、僅有的數據中學習一些共性，那麽新的事物來了之後，我們就可以使用算法推測出該事物的一些情況。
參考：
【機器學習】李宏毅機器學習2017（臺灣大學）（國語）(12)
http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html
Why deep learning?