1. 程式人生 > >資訊基礎2作業3

資訊基礎2作業3

Question1:

LeNet-5中卷積核通常用5x5,如果改成3x3或是7x7會怎麼樣呢?實驗實現
CNN網路LENET-5的簡單實現
CNN LeNet-5詳解

Question2:神經網路的初始化引數能不能全部為0?

神經網路中被容易忽略的基礎知識
在有隱層存在的情況下,會導致各連線的權值相同以至於達不到神經網路應有的效果。但是在沒有隱層的邏輯迴歸等演算法可以初始化引數為0。

Question3:max函式的導數

反向傳播一些求導介紹
其中,這裡說了一點關於max函式的導數的理解。對於max(x,y),那麼對於x和y大的那個數來說,導數始終是1,對於其中小的那個數來說導數是零。這裡的導數應該理解為偏導。
這裡引入一個次梯度的概念:

wiki:次導數
紅線的斜率即為次梯度
這在求解不可微函式起很大的作用。

Question4: 求解神經網路除了BP還有什麼方法?

粒子群、模擬退火等等
神經網路訓練方法

Question5:VGG16 & VGG19 的差別

在這裡插入圖片描述