神經網路為什麼有效？
神經網路有一個性質：Universality，“全包了”，即可代替所有的函式畫出決策邊界的普遍性。
簡化模型到只有w和b兩個引數，啟用函式為sigmoid函式，啟用函式的跳變點和-b/w有關。

如果啟用隱藏層神經元，w1和w2的絕對值相等，符號相反，並且s1和s2設定為不同取值，則就會出現方波訊號。

而再擴充套件一步，隱藏層每2個神經元可以畫出一個形似方波訊號的函式影象，並且能控制這個方波訊號的寬度和高度。

引入極限思想，無限的擴充隱藏層的神經元數量，就可以用無數的“小方波”去無限接近想要畫出的任何函式影象。每一個“方波”相當於神經網路畫出的“一筆”，理論上我們可以畫出無數筆，來一點點描摹我們想要的任何決策邊界

http://neuralnetworksanddeeplearning.com/chap1.html

反向傳播（back propagation）

損失函式是一杆秤，模型是個胖子。
多分類情況下每一個訓練集的y（真實值）展開寫為one-hot編碼矩陣，屬於哪一類，哪一位上就是1。
二分類的反向傳播示意圖：

反向傳播傳播的是誤差，傳播方向和前饋傳播相反。
每個誤差是針對每個神經元的，要先將前饋傳播算出來之後才能做反向傳播。
結構和符號說明：

BP流程說明：

留待對公式的理解補充
前饋網路最後一層輸出和樣本標籤的差值；

w為什麼要轉置？
矩陣乘法的本質是修改其尺寸

BP-偏導計算過程


延伸：
Hinton稱要替代BP演算法的Capsule:
深度學習創新比較容易

做作業要知道中間

Jupyter實時反饋，處理.ipynb 檔案（可以用這個一句一句寫程式碼再放到大體系中去），spyder處理py檔案
spyder將程式設計過程透明化，除錯更加清晰，和matlab設計思路一致。
spyder可以選中某些行，右擊點選run cell，實現單步除錯。spyder的debug功能不好用

面對冷冰冰的公式，如何讓學習變得有趣味性:把知識和人聯絡起來。
Geoffrey Hinton：涉獵物理&&化學、建築學、物理&&生理、哲學，吵到退學，最後落地AI.
人工智慧發展歷程:
1955年達特茅斯會議標誌著AI 的誕生；
1957年羅森布拉特發明第一款神經網路Perceptron，將人工智慧推向第一個高峰，因計算能力未能突破陷入低谷；
1986年BP 神經網路使得大規模神經網路演算法成為可能，將演算法AI推向第2個黃金期，因人工智慧計算機DARPA沒能實現，政府投入縮減，AI進入第二次低谷。
2006年Hinton提出“深度學習”神經網路使得人工智慧效能獲得突破性進展，演算法進入智慧感知時代。

要知道自己喜歡什麼。迷茫很正常，想要做這個，想要做那個，但只要選對了一個方向，願意堅持做下去，就沒問題。