1. 程式人生 > >資訊基礎2 - homework3

資訊基礎2 - homework3

周斌老師分享:LeNet-5 手寫數字識別-網路展示

怎樣提升深度學習的效能?

1.LeNet-5中卷積核3×3和5×5的對比

LeNet-5 Keras 實現

實驗要求不能呼叫現成的庫函式,要從用for迴圈加乘實現卷積開始。

相當於自己寫庫函式,以後可以呼叫自己的庫。


2.初始化引數能否都為0?

知乎:為什麼神經網路引數不能全部初始化為全0

通過反向傳播後,輸入層與隱藏層之間的引數更新一樣。隱藏層與其它層多個結點,相當於一個結點

w初始化全為0,很可能直接導致模型失效,無法收斂。


3.max函式的導數?

維基百科:導數

一個函式在某一點的導數描述了這個函式在這一點附近的變化率。導數的本質是通過極限

的概念對函式進行區域性的線性逼近。當函式f的自變數在一點x_{0}上產生一個增量h時,函式輸出值的增量與自變數增量h的比值在h趨於0時的極限如果存在,即為fx_{0}處的導數。

CNN中一些特殊環節的反向傳播

mean pooling:

max pooling:


4.求解深度網路,除了反向傳播外的其他方法?

淺談神經網路訓練方法

正向傳播、反向傳播、雙向傳播


5.下個LeNet的預訓練模型,跑跑看

實驗



1*.看《out of control》


2.VGGNet 3×3×3怎麼排

堆疊覆蓋


3.VGG16和VGG19的圖

PPT上的圖:應把22233和22244 改成22333和22444