broadcast機制

pytroch中的tensor和numpy中的ndarray一樣是支援broadcast的。支援原則是：

1.兩個tensor都至少有一維

2.從最後一維開始，要麼其中一個tensor的維數等於1，要麼兩個維數相同。

CUDA語法

pytorch可以通過一行程式碼實現資料在GPU和CPU之間的切換，並且在網路訓練過程中，你可以隨時將資料從GPU中拿出來進行操作，包括列印之類的，比tf要方便一些。例如：

x = torch.cuda.FloatTensor(1)
# x.get_device() == 0
y = torch.FloatTensor(1).cuda()
# y.get_device() == 0
 


with torch.cuda.device(1):
    # allocates a tensor on GPU 1
    a = torch.cuda.FloatTensor(1)

    # transfers a tensor from CPU to GPU 1
    b = torch.FloatTensor(1).cuda()
    # a.get_device() == b.get_device() == 1

    c = a + b
    # c.get_device() == 1

    z = x + y
    # z.get_device() == 0
 


    # even within a context, you can give a GPU id to the .cuda call
    d = torch.randn(2).cuda(2)
    # d.get_device() == 2

在多GPU環境中，充分利用GPU效能可以使用nn.DataParallel來將大的batch切成幾份，分別送到不同GPU中的模型中進行訓練，若你的batch只有1，卻仍然要使用多GPU的話，目前來說是沒有辦法將一個模型執行在幾個GPU上的。

torch.save(the_model.state_dict(), PATH)

the_model = TheModelClass(*args, **kwargs)
the_model.load_state_dict(torch.load(PATH))

torch.save(the_model, PATH)

the_model = torch.load(PATH)