1. 程式人生 > >深度學習學習記錄

深度學習學習記錄

1,大體流程:

(1)大家發現有可能深層次的網路更優,但是深層網路難以訓練,故無法實現

(2)有人提出提前用無監督學習方式預訓練,再用有監督訓練。如RGB、auto-encoder等實現並驗證此想法。

(3)le-net提出用relu做activation可以直接就訓練,不需要再預訓練,獲得成功

(4)google-net和VGG提出了le-net的擴充套件板,主要是進一步加深了網路的深度,獲得成功

(5)residual-net進一步用residual結構來構造神經網路,並且他發現之前的VGG或google-net這種plain-net層數再往上加反而沒有之前效果好,而這個效果不是與之前說的網路越深越好矛盾嗎?因此由於某種原因導致更深的網路不好,他用residual結構解決了此問題。

2,存在疑問

(1)為什麼除了relu以外用其他核來訓練網路無法得到目標網路?