有關Tensorflow梯度下降常用的優化方法分享
阿新 • • 發佈:2020-02-05
1.tf.train.exponential_decay() 指數衰減學習率:
#tf.train.exponential_decay(learning_rate,global_steps,decay_steps,decay_rate,staircase=True/False): #指數衰減學習率 #learning_rate-學習率 #global_steps-訓練輪數 #decay_steps-完整的使用一遍訓練資料所需的迭代輪數;=總訓練樣本數/batch #decay_rate-衰減速度 #staircase-衰減方式;=True,那就表明每decay_steps次計算學習速率變化,更新原始學習速率;=alse,那就是每一步都更新學習速率。learning_rate = tf.train.exponential_decay( initial_learning_rate = 0.001 global_step = tf.Variable(0,trainable=False) decay_steps = 100 decay_rate = 0.95 total_loss = slim.losses.get_total_loss() learning_rate = tf.train.exponential_decay(initial_learning_rate,global_step,True,name='learning_rate') optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(total_loss,global_step)
2.tf.train.ExponentialMovingAverage(decay,steps) 滑動平均更新引數:
initial_learning_rate = 0.001 global_step = tf.Variable(0,global_step) ema = tf.train.ExponentialMovingAverage(decay=0.9999) #tf.trainable_variables--返回的是需要訓練的變數列表 averages_op = ema.apply(tf.trainable_variables()) with tf.control_dependencies([optimizer]): train_op = tf.group(averages_op)
以上這篇有關Tensorflow梯度下降常用的優化方法分享就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支援我們。