2020-10-8
阿新 • • 發佈：2020-10-10
resnet的好處
ResNet引入了殘差單元，很好的解決了這個問題。
引入殘差單元，簡化學習目標和難度，加快訓練速度，模型加深時，不會產生退化問題
引入殘差單元，能夠有效解決訓練過程中梯度消失和梯度爆炸問題
ResNet_v2與v1的最大區別就是v2的BN和ReLU是在卷積之前使用的，好處：
反向傳播基本符合假設，資訊傳遞無阻礙；
BN層作為pre-activation，起到了正則化的作用；
殘差網路與普通網路不同的地方就是引入了跳躍連線,這可以使上一個殘差塊的資訊沒有阻礙的流入到下一個殘差塊,提高了資訊流通,並且也避免了由與網路過深所引起的消失梯度問題和退化問題。
損失函式
0-1損失函式
二分類邏輯迴歸損失函式
sigmoid函式 飽和啟用函式，在方向傳播中容易產生梯度消失 計算梯度時計算量大 輸出的範圍為（0,1） 單調連續
池化層是如何進行反向傳播的