1. 程式人生 > >資訊基礎II | Homework3

資訊基礎II | Homework3

目錄

一、LeNet-5中卷積核3×3和5×5的對比

二、初始化引數是否能都為0?

三、max函式的導數是什麼

四、求解深度網路,除了反向傳播外的其他方法?


一、LeNet-5中卷積核3×3和5×5的對比

 

二、初始化引數是否能都為0?

知乎文章:為什麼神經網路引數不能全部初始化為全0?

w初始化全為0,很可能直接導致模型失效,無法收斂。

因此可以對w初始化為隨機值解決(在cnn中,w的隨機化,也是為了使得同一層的多個filter,初始w不同,可以學到不同的特徵,如果都是0或某個值,由於計算方式相同,可能達不到學習不同特徵的目的)

三、max函式的導數是什麼

導數的定義-維基百科

CNN中一些特殊環節的反向傳播

f'(x_0)=\lim_{\Delta x \to 0}\frac{\Delta y}{\Delta x}=\lim_{\Delta x \to 0}\frac{f(x_0+\Delta x)-f(x_0)}{\Delta x}

四、求解深度網路,除了反向傳播外的其他方法?

淺談神經網路訓練方法

雙向傳播

正向傳播