1. 程式人生 > 程式設計 >pytorch的batch normalize使用詳解

pytorch的batch normalize使用詳解

torch.nn.BatchNorm1d()

1、BatchNorm1d(num_features,eps = 1e-05,momentum=0.1,affine=True)

對於2d或3d輸入進行BN。在訓練時,該層計算每次輸入的均值和方差,並進行平行移動。移動平均預設的動量為0.1。在驗證時,訓練求得的均值/方差將用於標準化驗證資料。

num_features:表示輸入的特徵數。該期望輸入的大小為'batch_size x num_features [x width]'

Shape:- 輸入:(N,C)或者(N,C,L) - 輸出:(N,C)或者(N,C,L)(輸入輸出相同)

2、BatchNorm2d(同上)

對3d資料組成的4d輸入進行BN。

num_features:來自期望輸入的特徵數,該期望輸入的大小為'batch_size x num_features x height x width'

Shape:- 輸入:(N,C,H,W) - 輸出:(N,H,W)(輸入輸出相同)

3、BatchNorm3d(同上)

對4d資料組成的5d輸入進行BN。

以上這篇pytorch的batch normalize使用詳解就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支援我們。