1. 程式人生 > >TensorFlow函式之tf.train.exponential_decay()

TensorFlow函式之tf.train.exponential_decay()

tf.train.exponential_decay實現指數衰減率。通過這個函式,可以先使用較大的學習率來快速得到一個比較優的解,然後隨著迭代的繼續逐步減小學習率,使得模型在訓練後期更加穩定。

tf.train.exponential_decay格式:

tf.train.exponential_decay(learning_rate, global_, decay_steps, decay_rate, staircase=True/False)

引數說明:

  • learning_rate:初始學習率
  • global_step:當前迭代次數
  • decay_steps:衰減速度
  • decay_rate:衰減係數,通常介於0-1之間。
  • staircase=False:衰減方式,(預設值為False,當為True時,(global_step/decay_steps)則被轉化為整數) 式。