pytorch learning rate decay
阿新 • • 發佈:2018-08-04
() sch import group ORC 沒有 com blog groups
關於learning rate decay的問題,pytorch 0.2以上的版本已經提供了torch.optim.lr_scheduler的一些函數來解決這個問題。
我在叠代的時候使用的是下面的方法。
classtorch.optim.lr_scheduler.
MultiStepLR
(optimizer, milestones, gamma=0.1, last_epoch=-1)
>>> # Assuming optimizer uses lr = 0.05 for all groups >>> # lr = 0.05 if epoch < 30 >>> # lr = 0.005 if 30 <= epoch < 80 >>> # lr = 0.0005 if epoch >= 80 >>> scheduler = MultiStepLR(optimizer, milestones=[30,80], gamma=0.1) >>> for epoch in range(100): >>> scheduler.step() >>> train(...) >>> validate(...)
使用的時候check一下pytorch的版本,如果提示沒有lr_scheduler don‘t find 嘗試用from torch.optim import lr_scheduler 導入
具體的訓練代碼見 https://www.cnblogs.com/z1141000271/p/9394738.html
pytorch learning rate decay