近期把DNN的反向傳播又好好的研究了一下。之前一直有疑慮是因為很多文件裡邊出現∂z(l+1)∂z(l)$\frac{\mathrm{\partial }{z}^{(l+1)}}{\mathrm{\partial }{z}^{(l)}}$這種表示式，然後z(l+1)$z^{(l+1)}$和z(l)$z^{(l)}$還是矩陣，這下就變得非常煩人了，因為沒有哪本數學書定義了矩陣對矩陣的導數。只有標量函式對矩陣，矩陣對標量，標量對向量，向量對標量以及向量對向量。所以我覺得有必要在好好把這塊弄一下，寫清楚。

  首先是DNN的模型：

這裡邊，a(1)=X$a^{(1)}=X$也就是輸入，1$\mathbf{1}$是列向量。然後：

  通常的文章怎麼描述的呢？定義δ(l)=∂J∂z(l)${\delta }^{(l)}=\frac{\mathrm{\partial }J}{\mathrm{\partial }{z}^{(l)}}$，假如計算出了δ(l)${\delta }^{(l)}$那麼∂J∂θ(l)=∂J∂z(l)⋅∂z(l)∂θ(l)$\frac{\mathrm{\partial }J}{\mathrm{\partial }{\theta }^{(l)}}=\frac{\mathrm{\partial }J}{\mathrm{\partial }{z}^{(l)}}\cdot \frac{\mathrm{\partial }{z}^{(l)}}{\mathrm{\partial }{\theta }^{(l)}}$，然後∂J∂z(l−1)=∂J∂z(l)⋅∂z(l)