原理：

TensorFlow使用的求導方法稱為自動微分（Automatic Differentiation），它既不是符號求導也不是數值求導，而類似於將兩者結合的產物。最基本的原理就是鏈式法則，關鍵思想是在基本操作（op）的水平上應用符號求導，並保持中間結果（grad）。基本操作的符號求導定義在\tensorflow\python\ops\math_grad.py檔案中，這個檔案中的所有函式都用RegisterGradient裝飾器包裝了起來，這些函式都接受兩個引數op和grad，引數op是操作，第二個引數是grad是之前的梯度。

鏈式求導程式碼：

舉個例子：

參考：

Automatic differentiation in machine learning: a survey. https://arxiv.org/abs/1502.05767