臺大李巨集毅-- 反向傳播演算法 Backpropagation
1. 鏈式法則
2. 反向傳播演算法 例項
計算前向傳播:
比如:
你會發現,輸入值就是前向傳播中,要求求解的導數的值。
計算後向傳播:
這裡假設,一個樣本造成的損失loss是:
(每個樣本有兩個輸入x1,x2)
綜上所述:
由上圖可得,在反向傳輸中,在計算過程中,是先算出最末尾的
,再算出倒數第二個的偏導
過程就是:
1. 計算
2. 計算
3. 最終計算
如果是更多層的神經網路
如果是更多層的神經網路,那麼為了計算方向傳輸的
,就應該像上面那樣,從最末尾的地方(輸出神經元)開始算起,一步一步計算,一步一步向左邊推進,直到計算到最左邊的第一層神經元,就計算到了
。