1 深層神經網路

引數：
$W^{\left[l\right]}\in R^{n_{}}$

l × n l − 1 W^{[l]} \in R^{n_l \times n_{l-1}}
$b^{\left[l\right]}$

∈ R n l × 1 b^{[l]} \in R^{n_l \times 1}
$dW^{[l]} \in R^{n_l \times n_{l-1}}$
$db^{[l]} \in R^{n_l \times 1}$

$Z^{[l]} \in R^{n_l \times m}$
$A^{[l]} \in R^{n_l \times m}$
$dZ^{[l]} \in R^{n_l \times m}$
$dA^{[l]} \in R^{n_l \times m}$

深度學習塊：

前向運算：
輸入： $Z^{[l]}$, $W^{[l]}$, $b^{[l]}$
輸出： $A^{[l]}$

$Z^{[l]} = W^{[l]}A^{[l-1]} + b^{[l]}$
$A^{[l]} = g^{[l]}(Z^{[l]})$

輸出是 $A^{[l]}$，但是 $Z^{[l]}$要暫存起來以便進行反向運算的梯度計算。

反向運算：
輸入： $dA^{[l]}$和快取的 $Z^{[l]}$
輸出： $dA^{[l-1]}$, $dW^{[l]}$, $db^{[l]}$
$dZ^{[l]} = dA^{[l]}*{g^{[l]}}^{'}(Z^{[l]})$
$dW^{[l]} = \frac{1}{m}dZ^{[l]}{A^{[l-1]}}^T$
$db^{[l]} = \frac{1}{m}np.sum(dZ^{[l]},axis=1,keepdims=True)$
$dA^{[l-1]}={W^{[l]}}^TdZ^{[l]}$

深度學習網路：

相關推薦