本文主要講述：

1. self.modue和self.children的區別與聯絡

說實話，我真的只想講引數初始化方式，但總感覺在偏離的道路上越走越遠。。。
在看一些pytorch文章講述自定義引數初始化方式時，使用到了self.modules()和self.children()函式，覺得還是需要講解一下的。

不如直接看一下程式碼：

import torch
from torch import nn

# hyper parameters
in_dim=1
n_hidden_1=1
n_hidden_2=1
out_dim=1

class Net(nn.Module)
 
:
    def __init__(self, in_dim, n_hidden_1, n_hidden_2, out_dim):
        super().__init__()

        self.layer = nn.Sequential(
            nn.Linear(in_dim, n_hidden_1), 
            nn.ReLU(True)
             )
        self.layer2 = nn.Sequential(
                nn.Linear(n_hidden_1, n_hidden_2)
 
,
                nn.ReLU(True),
            )
        self.layer3 = nn.Linear(n_hidden_2, out_dim)
        # print(self.modules())
        print("children")
        
        for i, module in enumerate( self.children()):
            print(i, module)
        print("modules")
        for i, module in enumerate
 
( self.modules()):
            print(i, module)

    
    def forward(self, x):
        x = self.layer1(x)
        x = self.layer2(x)
        x = self.layer3(x)
        return x
      
        
model = Net(in_dim, n_hidden_1, n_hidden_2, out_dim)

網路結構解讀：

這是一個三層的網路結構，將第一層的線性層和啟用層放在一個nn.Sequential層中，將第二層的線性層和啟用函式放在第二個nn.Sequential中，最後一個線性層作為單獨第三層。
整個網路結構如下圖所示：

接下來看一下程式碼__init__的print函式的列印資訊：

• self.children()
  out:

children
0 Sequential(
(0): Linear(in_features=1, out_features=1, bias=True)
(1): ReLU(inplace)
)
1 Sequential(
(0): Linear(in_features=1, out_features=1, bias=True)
(1): ReLU(inplace)
)
2 Linear(in_features=1, out_features=1, bias=True)

可以看出，self.children()儲存網路結構的子層模組，也就是net's children那一層。

• self.modules()

out:

modules
0 Net(
(layer): Sequential(
(0): Linear(in_features=1, out_features=1, bias=True)
(1): ReLU(inplace)
)
(layer2): Sequential(
(0): Linear(in_features=1, out_features=1, bias=True)
(1): ReLU(inplace)
)
(layer3): Linear(in_features=1, out_features=1, bias=True)
)
1 Sequential(
(0): Linear(in_features=1, out_features=1, bias=True)
(1): ReLU(inplace)
)
2 Linear(in_features=1, out_features=1, bias=True)
3 ReLU(inplace)
4 Sequential(
(0): Linear(in_features=1, out_features=1, bias=True)
(1): ReLU(inplace)
)
5 Linear(in_features=1, out_features=1, bias=True)
6 ReLU(inplace)
7 Linear(in_features=1, out_features=1, bias=True)

可以看出，self.modules()採用深度優先遍歷的方式，儲存了net的所有模組，包括net itself,net's children, children of net's children。

conclusion：
self.children()只包括網路模組的第一代兒子模組，而self.modules()包含網路模組的自己本身和所有後代模組。

參考：
https://discuss.pytorch.org/t/module-children-vs-module-modules/4551/3