2017 年初，Facebook 在機器學習和科學計算工具 Torch 的基礎上，針對 Python 語言釋出了一個全新的機器學習工具包 PyTorch。一經發布，這款開源工具包就受到廣泛關注和討論，經過幾個月的發展，目前 PyTorch 已經成為從業者最重要的研發工具之一。經過將近一年的發展，日前，迎來了 PyTorch 0.3.0 版本。

根據官方文件的介紹，此次增加了多個函式和功能，多方面的效能均實現提升。

重大變更

0.3 版本中刪掉了 Variable.reinforce() 等隨機函式，因為它們的功能有限，並且會影響到效能。設定隨機函式的初衷是為了避免取樣值的 book-keeping，在實際中，由於各種各樣的原因，使用者的程式碼中仍然會包括 book-keeping。他們引入了 torch.distributions 包來代替隨機函式。

之前的程式碼如下：

probs = policy_network(state)
action = probs.multinomial()
next_state, reward = env.step(action)
action.reinforce(reward)
action.backward()

現在的程式碼如下：

probs = policy_network(state)# NOTE: categorical is equivalent to what used to be called multinomialm = torch.distributions.Categorical(probs)
action = m.sample()
next_state, reward = env.step(action)
loss = -m.log_prob(action) * reward
loss.backward()
 

新的功能

1、目前，有些損失函式能直接計算 mini-batch 中每個 sample 的損失值。

2、構建了一個 in-built Profiler，能對模型進行瓶頸分析，這個 Profiler 同時支援 CPU 和 CUDA 模型。

更多資訊可以參見（http://t.cn/RY1frZ8）

3、增加 Higher order gradients 模組，支援如下層：

• ConvTranspose, AvgPool1d, AvgPool2d, LPPool2d, AvgPool3d, MaxPool1d, MaxPool2d, AdaptiveMaxPool, AdaptiveAvgPool, FractionalMaxPool2d, MaxUnpool1d, MaxUnpool2d, nn.Upsample, ReplicationPad2d, ReplicationPad3d, ReflectionPad2d
• PReLU, HardTanh, L1Loss, SoftSign, ELU, RReLU, Hardshrink, Softplus, SoftShrink, LogSigmoid, Softmin, GLU
• MSELoss, SmoothL1Loss, KLDivLoss, HingeEmbeddingLoss, SoftMarginLoss, MarginRankingLoss, CrossEntropyLoss
• DataParallel

4、優化器

• optim.SparseAdam：能實現適用於稀疏張量的簡單亞當演算法
• 優化器中增加了 add_param_group 函式，能在構建好的優化器中增加新的引數組。

除此之外，還增加了新的張量函式和功能，在新版本中，能通過 ONNX 將模型遷移到其他框架上。另外，在加速方面，重寫 gpu kernel 之後，softmax 和 log_softmax 的速度能實現 4-256 倍的提升；在分散式 AllReduce 中，能實現 2.5-3 倍的效能提升；torch.norm 函式的 backward 能實現 1.5 倍的加速；pack_padded_sequence 的效能也有提升。

AI研習社編譯整理，具體的介紹可以參加說明文件（http://t.cn/RYnuJbG），裡面有詳細說明。