1. 程式人生 > >Pytorch 引數初始化以及Xavier初始化

Pytorch 引數初始化以及Xavier初始化

    def _initialize_weights(self):
        # print(self.modules())

        for m in self.modules():
            print(m)
            if isinstance(m, nn.Linear):
                # print(m.weight.data.type())
                # input()
                # m.weight.data.fill_(1.0)
                init.xavier_uniform_(m.weight, gain=1)
                print(m.weight)

可以再網路的類中定義初始化初始化函式

通過net._initialize_weights()進行初始化

Xavier的具體講解可以參考

http://www.cnblogs.com/hejunlin1992/p/8723816.html