1. 優化器的種類

Optimizer  GradientDescentOptimizer  AdagradOptimizer  AdagradDAOptimizer  MomentumOptimizer  AdamOptimizer  FtrlOptimizer  RMSPropOptimizer

 2. GradientDescentOptimizer

with tf.name_scope("cross_ent"):
    loss = tf.reduce_mean(
        tf.nn.softmax_cross_entropy_with_logits(logits=score, labels=y))
 
# Train op 
with tf.name_scope("train"):
    # Get gradients of all trainable variables
    gradients = tf.gradients(loss, var_list)  #導數
    gradients = list(zip(gradients, var_list))
 
    # Create optimizer and apply gradient descent to the trainable variables
    optimizer = tf.train.GradientDescentOptimizer(learning_rate)
    train_op = optimizer.apply_gradients(grads_and_vars=gradients)
 

 其中

tf.train.Optimizer.apply_gradients(grads_and_vars, global_step=None, name=None)

Apply gradients to variables.This is the second part of minimize(). It returns an Operation that applies gradients. Args:  grads_and_vars: List of (gradient, variable) pairs as returned by compute_gradients(). global_step: Optional Variable to increment by one after the variables have been updated. name: Optional name for the returned operation. Default to the name passed to the Optimizer constructor. Returns:  An Operation that applies the specified gradients. If global_step was not None, that operation also increments global_step.

█ 優化 (Optimizers)

tf中各種優化類提供了為損失函式計算梯度的方法，其中包含比較經典的優化演算法，比如GradientDescent 和Adagrad。

▶▶class tf.train.Optimizer

▷ class tf.train.Optimizer  用法

# Create an optimizer with the desired parameters.
opt = GradientDescentOptimizer(learning_rate=0.1)
# Add Ops to the graph to minimize a cost by updating a list of variables.
# "cost" is a Tensor, and the list of variables contains tf.Variable objects.
opt_op = opt.minimize(cost, var_list=<list of variables>)
# Execute opt_op to do one step of training:
opt_op.run()

在使用它們之前處理梯度 使用minimize()操作，該操作不僅可以計算出梯度，而且還可以將梯度作用在變數上。如果想在使用它們之前處理梯度，可以按照以下三步驟使用optimizer ：

1、使用函式compute_gradients()計算梯度

2、按照自己的願望處理梯度

3、使用函式apply_gradients()應用處理過後的梯度

例如：

# 建立一個optimizer.
opt = GradientDescentOptimizer(learning_rate=0.1)
 
# 計算<list of variables>相關的梯度
grads_and_vars = opt.compute_gradients(loss, <list of variables>)
 
# grads_and_vars為tuples (gradient, variable)組成的列表。
#對梯度進行想要的處理，比如cap處理
capped_grads_and_vars = [(MyCapper(gv[0]), gv[1]) for gv in grads_and_vars]
 
# 令optimizer運用capped的梯度(gradients)
opt.apply_gradients(capped_grads_and_vars)

選通梯度(Gating Gradients)  函式minimize() 與compute_gradients()都含有一個引數gate_gradient，用於控制在應用這些梯度時並行化的程度。

其值可以取：GATE_NONE, GATE_OP 或 GATE_GRAPH  GATE_NONE : 並行地計算和應用梯度。提供最大化的並行執行，但是會導致有的資料結果沒有再現性。比如兩個matmul操作的梯度依賴輸入值，使用GATE_NONE可能會出現有一個梯度在其他梯度之前便應用到某個輸入中，導致出現不可再現的(non-reproducible)結果 GATE_OP: 對於每個操作Op，確保每一個梯度在使用之前都已經計算完成。這種做法防止了那些具有多個輸入，並且梯度計算依賴輸入情形中，多輸入Ops之間的競爭情況出現。 GATE_GRAPH: 確保所有的變數對應的所有梯度在他們任何一個被使用前計算完成。該方式具有最低級別的並行化程度，但是對於想要在應用它們任何一個之前處理完所有的梯度計算時很有幫助的。

█ Slots

一些optimizer的之類，比如 MomentumOptimizer 和 AdagradOptimizer 分配和管理著額外的用於訓練的變數。這些變數稱之為’Slots’，Slots有相應的名稱，可以向optimizer訪問的slots名稱。有助於在log debug一個訓練演算法以及報告slots狀態

m_0 <- 0 (Initialize initial 1st moment vector)
v_0 <- 0 (Initialize initial 2nd moment vector)
t <- 0 (Initialize timestep)

在論文中的 section2 的末尾所描述了更新規則，該規則使用梯度g來更新變數：

t <- t + 1 lr_t <- learning_rate * sqrt(1 - beta2^t) / (1 - beta1^t)   m_t <- beta1 * m_{t-1} + (1 - beta1) * g v_t <- beta2 * v_{t-1} + (1 - beta2) * g * g variable <- variable - lr_t * m_t / (sqrt(v_t) + epsilon)

其中epsilon 的預設值1e-8可能對於大多數情況都不是一個合適的值。例如，當在ImageNet上訓練一個 Inception network時比較好的選擇為1.0或者0.1。 需要注意的是，在稠密資料中即便g為0時， m_t, v_t 以及variable都將會更新。而在稀疏資料中，m_t, v_t 以及variable不被更新且值為零。

█梯度計算與截斷(Gradient Computation and Clipping)

TensorFlow 提供了計算給定tf計算圖的求導函式，並在圖的基礎上增加節點。優化器(optimizer )類可以自動的計算網路圖的導數，但是優化器中的建立器(creators )或者專業的人員可以通過本節所述的函式呼叫更底層的方法。