本文主要講述：

1. self.modue和self.children的區別與聯絡

說實話，我真的只想講引數初始化方式，但總感覺在偏離的道路上越走越遠。。。 在看一些pytorch文章講述自定義引數初始化方式時，使用到了self.modules()和self.children()函式，覺得還是需要講解一下的。

不如直接看一下程式碼：

import torch
from torch import nn

# hyper parameters
in_dim=1
n_hidden_1=1
n_hidden_2=1
out_dim=1

class Net(nn.Module):
    def __init__
 
(self, in_dim, n_hidden_1, n_hidden_2, out_dim):
        super().__init__()

        self.layer = nn.Sequential(
            nn.Linear(in_dim, n_hidden_1), 
            nn.ReLU(True)
             )
        self.layer2 = nn.Sequential(
                nn.Linear(n_hidden_1, n_hidden_2),
                nn.
 
ReLU(True),
            )
        self.layer3 = nn.Linear(n_hidden_2, out_dim)
        # print(self.modules())
        print("children")
        
        for i, module in enumerate( self.children()):
            print(i, module)
        print("modules")
        for i, module in enumerate( self.modules(
 
)):
            print(i, module)

    
    def forward(self, x):
        x = self.layer1(x)
        x = self.layer2(x)
        x = self.layer3(x)
        return x
      
        
model = Net(in_dim, n_hidden_1, n_hidden_2, out_dim)

網路結構解讀：

這是一個三層的網路結構，將第一層的線性層和啟用層放在一個nn.Sequential層中，將第二層的線性層和啟用函式放在第二個nn.Sequential中，最後一個線性層作為單獨第三層。 整個網路結構如下圖所示：

接下來看一下程式碼__init__的print函式的列印資訊：

• self.children() out:

children 0 Sequential( (0): Linear(in_features=1, out_features=1, bias=True) (1): ReLU(inplace) ) 1 Sequential( (0): Linear(in_features=1, out_features=1, bias=True) (1): ReLU(inplace) ) 2 Linear(in_features=1, out_features=1, bias=True)

可以看出，self.children()儲存網路結構的子層模組，也就是net's children那一層。

• self.modules()

out:

modules 0 Net( (layer): Sequential( (0): Linear(in_features=1, out_features=1, bias=True) (1): ReLU(inplace) ) (layer2): Sequential( (0): Linear(in_features=1, out_features=1, bias=True) (1): ReLU(inplace) ) (layer3): Linear(in_features=1, out_features=1, bias=True) ) 1 Sequential( (0): Linear(in_features=1, out_features=1, bias=True) (1): ReLU(inplace) ) 2 Linear(in_features=1, out_features=1, bias=True) 3 ReLU(inplace) 4 Sequential( (0): Linear(in_features=1, out_features=1, bias=True) (1): ReLU(inplace) ) 5 Linear(in_features=1, out_features=1, bias=True) 6 ReLU(inplace) 7 Linear(in_features=1, out_features=1, bias=True)

可以看出，self.modules()採用深度優先遍歷的方式，儲存了net的所有模組，包括net itself,net's children, children of net's children。

conclusion： self.children()只包括網路模組的第一代兒子模組，而self.modules()包含網路模組的自己本身和所有後代模組。