7網路引數初始化

7.1 全零初始化

網路收斂到穩定狀態時，引數（權值）在理想情況下應基本保持正負各半，期望為0

全0初始化可以使初始化全零時引數期望為0

但是，全0初始化不能訓練

7.2隨機初始化

仍然希望引數期望接近1

隨機引數服從高斯分佈或均勻分佈進行初始化

7.2.1.高斯分佈

高斯分佈為均值為0，方差為1 的標準高斯分佈

w = 0.001 .* randn(n_in,n_out);    %0.001控制引數量綱，使引數期望保持在接近0的較小數值範圍內

即網路輸出資料分佈的方差會隨著輸入神經元個數改變

7.2.2.Xaiver引數初始化方法

對方差大小規範化

w = (0.001 .* randn(n_in, n_out)) ./ sqrt(n);

乘上1n√$\frac{1}{\sqrt{n}}$

7.2.3.He引數初始化

乘上1n/2√$\frac{1}{\sqrt{n/2}}$

收斂效果更好

7.2.4 均勻分佈

在區間[low,high]上成規範化係數

7.3其他初始化

• 採用預訓練模型
• 資料敏感的引數初始化方式