1. nn.Module.cuda() 和 Tensor.cuda() 的作用效果差異

無論是對於模型還是資料，cuda()函式都能實現從CPU到GPU的記憶體遷移，但是他們的作用效果有所不同。

對於nn.Module:

model = model.cuda() 
model.cuda() 

上面兩句能夠達到一樣的效果，即對model自身進行的記憶體遷移。

對於Tensor:

和nn.Module不同，呼叫tensor.cuda()只是返回這個tensor物件在GPU記憶體上的拷貝，而不會對自身進行改變。因此必須對tensor進行重新賦值，即tensor=tensor.cuda().

例子:

model = create_a_model()
tensor = torch.zeros([2,3,10,10])
model.cuda()
tensor.cuda()
model(tensor)    # 會報錯
tensor = tensor.cuda()
model(tensor)    # 正常執行

2. PyTorch 0.4 計算累積損失的不同

以廣泛使用的模式total_loss += loss.data[0]為例。Python0.4.0之前，loss是一個封裝了(1,)張量的Variable，但Python0.4.0的loss現在是一個零維的標量。對標量進行索引是沒有意義的（似乎會報 invalid index to scalar variable 的錯誤）。使用loss.item()可以從標量中獲取Python數字。所以改為：

total_loss += loss.item()

如果在累加損失時未將其轉換為Python數字，則可能出現程式記憶體使用量增加的情況。這是因為上面表示式的右側原本是一個Python浮點數，而它現在是一個零維張量。因此，總損失累加了張量和它們的梯度歷史，這可能會產生很大的autograd 圖，耗費記憶體和計算資源。

3. PyTorch 0.4 編寫不限制裝置的程式碼

# torch.device object used throughout this script
device = torch.device("cuda" if use_cuda else "cpu")
model = MyRNN().to(device)

# train
total_loss= 0
for input, target in train_loader:
    input, target = input.to(device), target.to(device)
    hidden = input.new_zeros(*h_shape)       # has the same device & dtype as `input`
    ...                                                               # get loss and optimize
    total_loss += loss.item()

# test
with torch.no_grad():                                    # operations inside don't track history
    for input, targetin test_loader:
        ...
 

4. torch.Tensor.detach()的使用

detach()的官方說明如下：

Returns a new Tensor, detached from the current graph.
    The result will never require gradient.

假設有模型A和模型B，我們需要將A的輸出作為B的輸入，但訓練時我們只訓練模型B. 那麼可以這樣做：

input_B = output_A.detach()

它可以使兩個計算圖的梯度傳遞斷開，從而實現我們所需的功能。

5. ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memory (shm)

出現這個錯誤的情況是，在伺服器上的docker中執行訓練程式碼時，batch size設定得過大，shared memory不夠（因為docker限制了shm）.解決方法是，將Dataloader的num_workers設定為0.

6. pytorch中loss函式的引數設定

以CrossEntropyLoss為例：

CrossEntropyLoss(self, weight=None, size_average=None, ignore_index=-100, reduce=None, reduction='elementwise_mean')

• 若 reduce = False，那麼 size_average 引數失效，直接返回向量形式的 loss，即batch中每個元素對應的loss.
• 若 reduce = True，那麼 loss 返回的是標量：
  • 如果 size_average = True，返回 loss.mean().
  • 如果 size_average = False，返回 loss.sum().
• weight : 輸入一個1D的權值向量，為各個類別的loss加權，如下公式所示： 
• ignore_index : 選擇要忽視的目標值，使其對輸入梯度不作貢獻。如果 size_average = True，那麼只計算不被忽視的目標的loss的均值。
• reduction : 可選的引數有：‘none’ | ‘elementwise_mean’ | ‘sum’, 正如引數的字面意思，不解釋。

7. pytorch的可重複性問題