1. visualizing higher-layer features of a deep network

本文提出了兩種視覺化方法。 

1. 最大化activation

當訓練完一個深層神經網路之後， 固定所有引數。 然後對於某一個神經元的activation進行梯度上升優化來尋找能使它的值最大化的input。 不斷的用gradient ascent來更新一個初始化為random value的input。 converge 之後的input就是能使這個神經元activation最大化的input， 也就是這個神經元學到的feature。

2. sampling from a unit of a deep belief network

把一個神經元的activation設為1， 然後generate 一些相應的samples， 通過這些samples估計一個distribution。

3. linear combination of previous layers' filters

這個是已經存在的技術， 用底層的filter線性組合來visulze上層的filter

結論

1. 不同的網路結構或者模型會學到不同的filter。

2. 好的模型學到的filter通常比較容易解釋，但是這個不是100%適用。 有些model學到的feature看似不好但是這個model效果也可能很好。

3. deep model 高層的feature相對比較high level 而且可以是底層feature的組合。