DeaplearningAI01.weak2

• forward
• backward

本週主要介紹了神經網路中forward和backward的一般實現和向量實現。一般實現較為簡單，向量實現中存在一些疑點
$\boldsymbol{X}$ 是一個由訓練集組成的矩陣，每一列代表一個數據，列數為資料的大小
$\mathit{\omega }$

forward

$\mathit{Z}=np\mathrm{.}dot(\mathit{\omega }$

backward

backward實際上是一個鏈式求導的過程，backward最根本的式子是通過梯度下降法來更新w和b
$\frac{\partial L}{\partial \boldsymbol{A}} = -(\frac{\boldsymbol{Y}}{\boldsymbol{A}}-\frac{1-\boldsymbol{Y}}{1-\boldsymbol{A}}) \frac{\partial \boldsymbol{A}}{\partial \boldsymbol{\boldsymbol{Z}}} = \boldsymbol{A}(1-\boldsymbol{A}) \frac{\partial \boldsymbol{Z}}{\partial \boldsymbol{\omega}} = \boldsymbol{X}$
所以，我們可以表示 $d\omega$ 為 $d\omega = np.dot(\boldsymbol{X},\;(\boldsymbol{A} - \boldsymbol{Y}).T)$，這個求解出來為m個樣本訓練出w的變化總和，因此應該除以m，所以為 $d\omega =1/m* np.dot(\boldsymbol{X},\;(\boldsymbol{A} - \boldsymbol{Y}).T)$。
同理可求 $db$，但是由於b為標量，因此需要對求出的m次訓練的b求和，即 $db = 1/m*np.sum(\boldsymbol{A}-\boldsymbol{Y})$。根據這兩個值即可以更新 $\omega$ 和 $b$