本文記錄官方note中比較有價值的觀點（從反向傳播開始）

一 反向傳播

1 “反向傳播是一個優美的局部過程。在整個計算線路圖中，每個門單元都會得到一些輸入並立即計算兩個東西：1. 這個門的輸出值，和2.其輸出值關於輸入值的局部梯度。門單元完成這兩件事是完全獨立的，它不需要知道計算線路中的其他細節。”

2 反向傳播的編程中要學會分段計算，即在前向傳播過程中把有用的中間變量緩存下來。

3 輸入的大小對梯度有巨大影響，因此數據預處理很重要。例如乘法門會將大梯度分給小輸入，小梯度分給大輸入，因此當輸入變化時，需要調整學習率。

二 神經網絡介紹

1 生物動機：神經網絡模型與實際的生物神經有一定的相似之處，但只是一個粗糙的近似模型，通常生物中更復雜，表現在突觸不是線性的權重，輸出的峰值信號的精確時間點很重要，等等。

2

cs231n官方note筆記