1、常用啟用函式

Rectified Linear Unit(ReLU) - 用於隱層神經元輸出
Sigmoid - 用於隱層神經元輸出
Softmax - 用於多分類神經網路輸出
Linear - 用於迴歸神經網路輸出（或二分類問題）

常用啟用函式介紹參考：
https://blog.csdn.net/Leo_Xu06/article/details/53708647
https://blog.csdn.net/sinat_29957455/article/details/81841278

2、最後一層啟用函式的使用總結

在選擇最後一層的啟用函式時，有許多玄學。

在神經網路產生輸出後，你也許會將其裁剪到[-1, 1]的區間。那將這個裁剪過程當作最後一層的啟用函式，這似乎是有意義的，因為這將確保網路中的誤差函式不會對不在[-1, 1]區間外的值進行懲罰。但是沒有誤差意味著區間外的這些值沒有對應梯度，這在某些情況下無法進行網路訓練。

或者，你也可以在最後一層使用tanh函式，因為這個啟用函式的輸出範圍是[-1, 1]。但是這也可能出現問題，因為這個函式在1或-1附近時斜率變得很大，可能會使權重大幅增加，最終只產生-1或1的輸出。

一般來說，最好的選擇通常是採用求穩策略，在最後一層不使用任何啟用函式，而不是試圖使用一些機靈的技巧，可能會適得其反。
參考：https://zhuanlan.zhihu.com/p/29247151