基礎知識

機器學習中常見函式求導

• 冪次
  $(x^u{)}^{\mathrm{\prime }}=$

  u x u − 1 (x^u)^\prime=ux^{u-1}

• 指數
  $(e^x{)}^{\mathrm{\prime }}=$

  e x (e^x)^\prime=e^{x}

• 對數
  $(\log _ax)^\prime=\frac{1}{x\ln a}$
  $(ln x)^\prime=\frac{1}{x}$

求導四則運算

$(u \pm v) = u^\prime \pm v^\prime$
$(Cu)^\prime=Cu^\prime$
$(uv)^\prime=u^\prime v + u v^\prime$
$(\frac{u}{v})^ \prime=\frac{u^\prime v - uv^\prime}{v^2}$
顯然除法的公式可以從乘法公式推匯出來

複合函式求導

一個函式的自變數是另一個函式的因變數，前者稱為複合函式。
$y=f(g(x))$其中 $y=f(u)$, $u=g(x)$都可導，則

$\frac{dy}{dx}=\frac{df}{dg}\frac{dg}{dx}$

上面比較簡單，因為 $f$中只有一個函式 $g$, 如果
$y=f(g_1(x), g_2(x),g_3(x),...,g_n(x))$
則
$\frac{dy}{dx}=\sum_{i=1}^{n}\frac{df}{dg_i}\frac{dg_i}{dx}$

$f$中包括多個函式，則每個函式都對 $x$求導，結果相加

再複雜一點
$y=f(g_1(x_1,x_2,x_3,...,x_m), g_2(x_1,x_2,x_3,...,x_m),g_3(x_1,x_2,x_3,...,x_m),...,g_n(x_1,x_2,x_3,...,x_m))$