• 入門教程中，定義loss和grad的計算函式如下：

def loss(model, x, y):
  y_ = model(x)
  return tf.losses.sparse_softmax_cross_entropy(labels=y, logits=y_)

def grad(model, inputs, targets):
  with tf.GradientTape() as tape:
    loss_value = loss(model, inputs, targets)
  return tape.gradient(loss_value, model.
 
variables)

不寫with tf.GradientTape() as tape: 時應該就是相當於pytorch裡的關閉梯度。也就是pytorch預設開啟梯度，TF Eager預設關閉梯度，這一點還是不錯的。

注意到，loss重複計算了啊，不如用一個函式。

def loss_and_grad(model, inputs, targets):
  with tf.GradientTape() as tape:
    loss_value = loss(model, inputs, targets)
  return loss_value, tape.gradient(loss_value,
 
 model.variables)

經過測試，確實可以節省時間，對結果沒影響。不改變入門教程-鳶尾花分類中的其他引數，原例程時間訓練總時間約7.2s，修改後約5.9s。