深度學習2.0-16.隨機梯度下降之反向傳播演算法推導 阿新 • • 發佈:2020-10-10 文章目錄 1.啟用函式及其梯度1.sigmoid/Logistic2.Tanh-在RNN中使用較多3.relu-Rectified Linear Unit(整型的線性單元) 2.損失函式及其梯度1.MSE-Mean Squared Error2.Cross Entropy Losssoftmax 3.單輸出感知機及其梯度4.多輸出感知機以及梯度5.鏈式法則6.多層感知機梯度(反向傳播演算法) 1.啟用函式及其梯度 1.sigmoid/Logistic 容易出現梯度離散,權值長時間保持不變,未能更新 2.Tanh-在RNN中使用較多 3.relu-Rectified Linear Unit(整型的線性單元) 2.損失函式及其梯度 1.MSE-Mean Squared Error 2.Cross Entropy Loss softmax 3.單輸出感知機及其梯度 4.多輸出感知機以及梯度 5.鏈式法則 6.多層感知機梯度(反向傳播演算法)