1. 程式人生 > >機器學習面試題

機器學習面試題

  • relu優缺點 優點:relu不需要想sigmoid函式一樣進行復雜的指數運算,是的其收斂速度非常快。並且,relu函式的導數為1,不會導致梯度變小,因此一定程度上解決了梯度消失的問題。 缺點:在訓練過程中relu神經元比較脆弱,容易出現神經元“死亡”。如果神經元接收到一個非常大的梯度流之後,這個神經元的引數極有可能變成一個很大的負值,在之後的正向傳播時,所有的輸出都是0,也就意味著這個神經元對之後的任何資料都不再有啟用現象。因此,在使用relu作為啟用函式時,最後不要使用太大的學習率。