• underflow：浮點數下溢，數值逼近 0 時出現；
  
  • 0 作除數，
  • 對 0 取對數；
• overflow：浮點數上溢，數值逼近無窮大時出現；
• 浮點數溢位，不論是上溢還是下溢，會使得最終的結果 Undefined（比如為 NaN），或者跟真實的結果相差很大的量級；

1. softmax 函式

softmax 函式用於預測多分類問題，各個類別的概率輸出。

當 {xj}j=1,⋯,n$\{x_j{\}}_{j=1,\cdots ,n}$全部相等為 c$c$，則經過 softmax 函式的變換，各個類別的輸出均為

• 是很大的負數時，exp(c)$\exp (c)$ 逼近 0，分母逼近 0，下溢，結果未定義；
• 是很大的正數，exp(c)$\exp (c)$ 上溢；結果未定義；

上溢還是下溢均可通過如下的簡單變換解決：

• z$\mathbf{z}$ 中的某一項為 0，則分母中至少有一項為 1，避免了浮點數的下溢；
• 減去最大值，避免了可能的浮點數的上溢；