pytorch 基礎系列（四）——nn.module
torch.nn的核心資料結構是Module，它是一個抽象概念，既可以表示神經網路中的某個層（layer），也可以表示一個包含很多層的神經網路。無需糾結variable和tensor了，0.4版本已經將兩個類徹底合併了。
在實際使用中，最常見的做法是繼承nn.Module，撰寫自己的網路/層。
- 自定義層
Linear必須繼承nn.Module，並且在其建構函式中需呼叫nn.Module的建構函式，即super(Linear, self).__init__()或nn.Module.__init__(self)，推薦使用第一種用法。 - 在建構函式
__init__中必須自己定義可學習的引數，並封裝成Parameter，你比如 _FasterRcnn類init中定義了 self.RCNN_loss_cls = 0 和 self.RCNN_loss_bbox = 0 還有在本例中我們把w和b封裝成parameter。parameter是一種特殊的Variable，但其預設需要求導（requires_grad = True）。 forward函式實現前向傳播過程，其輸入可以是一個或多個variable，對x的任何操作也必須是variable支援的操作。- 無需寫反向傳播函式，因其前向傳播都是對variable進行操作，nn.Module能夠利用autograd自動實現反向傳播，這點比Function簡單許多。 faster rcnn等中反向傳播直接寫pass的原因。
- 使用時，直觀上可將layer看成數學概念中的函式，呼叫layer(input)即可得到input對應的結果。它等價於
layers.__call__(input)，在__call__函式中，主要呼叫的是layer.forward(x)，另外還對鉤子做了一些處理。所以在實際使用中應儘量使用layer(x)而不是使用layer.forward(x)。 Module中的可學習引數可以通過named_parameters()或者parameters()返回迭代器，前者會給每個parameter都附上名字，使其更具有辨識度。
Module能夠自動檢測到自己的Parameter，並將其作為學習引數。
可見利用Module實現的全連線層，比利用Function實現的更為簡單，因其不再需要寫反向傳播函式。
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 |
|
Variable containing:
4.1151 2.4139 3.5544
-0.4792 -0.9400 -7.6010
[torch.FloatTensor of size 2x3]w Parameter containing:
1.1856 0.9246 1.1707
0.2632 -0.1697 0.7543
-0.4501 -0.2762 -3.1405
-1.1943 1.2800 1.0712
[torch.FloatTensor of size 4x3]
b Parameter containing:
1.9577
1.8570
0.5249
[torch.FloatTensor of size 3]
遞迴
除了parameter之外，Module還包含子Module，主Module能夠遞迴查詢子Module中的parameter。
- 建構函式
__init__中，可利用前面自定義的Linear層(module)，作為當前module物件的一個子module，它的可學習引數，也會成為當前module的可學習引數。 - 在前向傳播函式中，我們有意識地將輸出變數都命名成
x，是為了能讓Python回收一些中間層的輸出，從而節省記憶體。但並不是所有都會被回收，有些variable雖然名字被覆蓋，但其在反向傳播仍需要用到，此時Python的記憶體回收模組將通過檢查引用計數，不會回收這一部分記憶體。
module中parameter的命名規範：
- 對於類似
self.param_name = nn.Parameter(t.randn(3, 4))，命名為param_name - 對於子Module中的parameter，會其名字之前加上當前Module的名字。如對於
self.sub_module = SubModel()，SubModel中有個parameter的名字叫做param_name，那麼二者拼接而成的parameter name 就是sub_module.param_name。
下面再來看看稍微複雜一點的網路，多層感知機：
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
|
('layer1.w', torch.Size([3, 4]))
('layer1.b', torch.Size([4]))
('layer2.w', torch.Size([4, 1]))
('layer2.b', torch.Size([1]))