1. 程式人生 > >【學習筆記】吳恩達老師《深度學習工程師》五

【學習筆記】吳恩達老師《深度學習工程師》五

第五課 導數

這一節,吳老師用很好理解的方式介紹了導數,對於中國學生來說導數沒有問題,老師講解的方式很新穎。


首先假設f(a)=3a,當a取2,f(a)=6,;這時稍微增大一下a的值,比如取2.001,此時f(a)=6.003,可見a增大0.001,f(a)增大0.003,是a增量的3倍,這裡斜率就是3。(這種講解方法簡單易懂,o( ̄▽ ̄)d)

再比如f(a)=a²,當a=2,f(a)=4;將a取為2.001,f(a)=4.004,增大4唄;當a=5,f(a)=25,同樣增大0.001,f(a)變為25.010(f(a)增大都為近似值),不難發現,此時導數值好像是2a,與標準公式不謀而合(-_-||)。

第六課 計算圖

老師例舉J(a,b,c)=3(a+bc),令bc=u,a+bc=v,引入中間變數。通過中間變數引入計算圖的概念:


通過計算圖舉例說明Forward propagation前向傳播,和Back propagation反向傳播。

所謂FP,就是給每一個變數賦值,然後就算出最後的函式值。

而BP,通過最後的函式結果,反向計算每一箇中間變數對應的常數值。

例如y=wx+b,FP就是給了w,b計算y。 而BP,是計算w和b的值。

這裡老師計算了導數值。