1. 程式人生 > >記錄訓練損失的一些規律

記錄訓練損失的一些規律

網絡 訓練 參數 參數設置 批量 設計 擬合 oss 設置

train loss 不斷下降,test loss不斷下降,說明網絡仍在學習;

train loss 不斷下降,test loss趨於不變,說明網絡過擬合;

train loss 趨於不變,test loss不斷下降,說明數據集100%有問題;

train loss 趨於不變,test loss趨於不變,說明學習遇到瓶頸,需要減小學習率或批量數目;

train loss 不斷上升,test loss不斷上升,說明網絡結構設計不當,訓練超參數設置不當,數據集經過清洗等問題。

記錄訓練損失的一些規律