1. 程式人生 > >小白都理解的人工智慧系列(13)——如何加速神經網路訓練過程

小白都理解的人工智慧系列(13)——如何加速神經網路訓練過程

問題1:如何加速訓練?

SGD將大的資料拆分成一塊塊小的資料進行訓練。


Momentum通過不斷調整w值的形式,朝著梯度往下走,以期儘快達到終點。


AdaGrad方式類似於一個鞋子,一走彎路,就讓你摔倒,讓你不得不走直路,儘快到底目的地。


Adam是結合兩者一起,大部分情況下都適用。