1、梯度爆炸

原因：在學習過程中，梯度變得非常大，使得學習的過程偏離了正常的軌跡

症狀：觀察輸出日誌（runtime log）中每次迭代的loss值，你會發現loss隨著迭代有明顯的增長，最後因為loss值太大以至於不能用浮點數去表示，所以變成了NaN。

可採取的方法：1.降低學習率，比如solver.prototxt中的base_lr，降低一個數量級（至少）。如果在你的模型中有多個loss層，就不能降低基礎的學習率base_lr，而是需要檢查日誌，找到產生梯度爆炸的層，然後降低train_val.prototxt中該層的loss_weight.

2、錯誤的學習率策略及引數

原因：在學習過程中，caffe不能得出一個正確的學習率，相反會得到inf或者nan的值。這些錯誤的學習率乘上所有的梯度使得所有引數變成無效的值。

症狀：觀察輸出日誌（runtime log），你應該可以看到學習率變成NaN，例如：

... sgd_solver.cpp:106] Iteration 0, lr = -nan

關於caffe學習率及其策略的內容，可以在github的/caffe-master/src/caffe/proto/caffe.proto檔案中看到（傳送門）

3、錯誤的損失函式

原因：有時，在損失層計算損失值時會出現NaN的情況。比如，向InfogainLoss層沒有歸一化輸入值，使用自定義的損失層等。

症狀：觀察輸出日誌（runtime log）的時候，你可能不會發現任何異常：loss逐漸下降，然後突然出現NaN。

可採取的方法：重新嘗試該錯誤，列印損失層的值並除錯。

舉個栗子：有一回，我根據批量資料中標籤出現的 頻率去歸一化懲罰值並以此計算loss。如果有個label並沒有在批量資料中出現，頻率為0，結果loss出現了NaN的情況。在這種情況先，需要用足夠大的batch來避免這個錯誤。

4、錯誤的輸入

原因：你的輸入中存在NaN！

症狀：一旦學習過程中碰到這種錯誤的輸入，輸出就會變成NaN。觀察輸出日誌（runtime log）的時候，你可能也不會發現任何異常：loss逐漸下降，然後突然出現NaN。

可採取的方法：重建你的輸入資料集（Imdb/leveldn/hdf5...），確保你的訓練集/驗證集中沒有髒資料（錯誤的圖片檔案）。除錯時，使用一個簡單的網路去讀取輸入，如果有一個輸入有錯誤，這個網路的loss也會出現NaN。

5、Pooling層的步長大於核的尺寸

由於一些原因，步長stride>核尺寸kernel_size的Pooling層會出現NaN。比如：

layer {
  name: "faulty_pooling"
  type: "Pooling"
  bottom: "x"
  top: "y"
  pooling_param {
    pool: AVE
    stride: 5
    kernel: 3
  }
}

結果y會出現NaN。

一般來說，出現NaN有以下幾種情況：

1.如果在迭代的100輪以內，出現NaN，一般情況下的原因是因為你的學習率過高，需要降低學習率。可以不斷降低學習率直至不出現NaN為止，一般來說低於現有學習率1-10倍即可。

2.如果當前的網路是類似於RNN的迴圈神經網路的話，出現NaN可能是因為梯度爆炸的原因，一個有效的方式是增加“gradient clipping”（梯度截斷來解決）

3.可能用0作為了除數;

4.可能0或者負數作為自然對數

5.需要計算loss的陣列越界（尤其是自己，自定義了一個新的網路，可能出現這種情況）

6.在某些涉及指數計算，可能最後算得值為INF（無窮）（比如不做其他處理的softmax中分子分母需要計算exp（x），值過大，最後可能為INF/INF，得到NaN，此時你要確認你使用的softmax中在計算exp（x）做了相關處理（比如減去最大值等等））

原文連結

參考