1. 程式人生 > >cs231n學習筆記 第四課

cs231n學習筆記 第四課

1.反向傳播:核心為鏈式法則,通過對一系列中間變數進行簡單的求導計算來得到整個複雜函式的梯度

local gradient * upstream gradient:對當前節點求導並將其與上游節點導數相乘,逐漸回傳

sigmoid function: \frac{d\sigma(x)}{dx} = (1-\sigma(x))*\sigma(x)

計算圖中:加法門的本地梯度是1,故將上游梯度直接分配給兩個支流;

乘法門將兩個支流的值交換再與上游梯度相乘,進行傳遞;

最大值門將上游梯度分配給值較大的支流,另一個為零;

ps:注意鏈式法則計算過程中,同一層上(同一向量)中是相加關係:\frac{\partial f}{\partial W_{ij}}=\sum_k \frac{\partial f}{\partial q_k}\frac{\partial q_k}{\partial W_{ij}}