Pytorch之finetune使用詳解
阿新 • • 發佈:2020-01-19
finetune分為全域性finetune和區域性finetune。首先介紹一下區域性finetune步驟:
1.固定引數
for name,child in model.named_children(): for param in child.parameters(): param.requires_grad = False
後,只傳入 需要反傳的引數,否則會報錯
filter(lambda param: param.requires_grad,model.parameters())
2.調低學習率,加快衰減
finetune是在預訓練模型上進行微調,學習速率不能太大。
目前不清楚:學習速率降低的幅度可以更快一些。這樣以來,在使用step的策略時,stepsize可以更小一些。
直接從原始資料訓練的base_lr一般為0.01,微調要比0.01小,置為0.001
要比直接訓練的小一些,直接訓練的stepsize為100000,finetune的stepsize: 50000
3. 固定bn或取消dropout:
batchnorm會影響訓練的效果,隨著每個batch,追蹤樣本的均值和方差。對於固定的網路,bn應該使用全域性的數值
def freeze_bn(self): for layer in self.modules(): if isinstance(layer,nn.BatchNorm2d): layer.eval()
訓練時,model.train()會修改模式,freeze_zn()應該在這裡後面
4.過濾引數
訓練時,對於優化器,應該只傳入需要改變的引數,否則會報錯
filter(lambda p: p.requires_grad,model.parameters())
以上這篇Pytorch之finetune使用詳解就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支援我們。