[PyTorch 學習筆記] 5.1 TensorBoard 介紹
阿新 • • 發佈：2020-09-05
> 本章程式碼：
>
> - [https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/tensorboard_methods.py](https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/tensorboard_methods.py)
> - [https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/tensorboard_methods_2.py](https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/tensorboard_methods_2.py)
> - [https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/loss_acc_weights_grad.py](https://github.com/zhangxiann/PyTorch_Practice/blob/master/lesson5/loss_acc_weights_grad.py)
這篇文章主要介紹了 PyTorch 中的優化器，包括 3 個部分：優化器的概念、optimizer 的屬性、optimizer 的方法。
TensorBoard 是 TensorFlow 中強大的視覺化工具，支援標量、文字、影象、音訊、視訊和 Embedding 等多種資料視覺化。
在 PyTorch 中也可以使用 TensorBoard，具體是使用 TensorboardX 來呼叫 TensorBoard。除了安裝 TensorboardX，還要安裝 TensorFlow 和 TensorBoard，其中 TensorFlow 和 TensorBoard 需要一致。
TensorBoardX 視覺化的流程需要首先編寫 Python 程式碼把需要視覺化的資料儲存到 event file 檔案中，然後再使用 TensorBoardX 讀取 event file 展示到網頁中。
下面的程式碼是一個儲存 event file 的例子：
```
import numpy as np
import matplotlib.pyplot as plt
from tensorboardX import SummaryWriter
from common_tools import set_seed
max_epoch = 100
writer = SummaryWriter(comment='test_comment', filename_suffix="test_suffix")
for x in range(max_epoch):
writer.add_scalar('y=2x', x * 2, x)
writer.add_scalar('y=pow_2_x', 2 ** x, x)
writer.add_scalars('data/scalar_group', {"xsinx": x * np.sin(x),
"xcosx": x * np.cos(x)}, x)
writer.close()
```
上面具體儲存的資料，我們先不關注，主要關注的是儲存 event file 需要用到 SummaryWriter 類，這個類是用於儲存資料的最重要的類，執行完後，會在當前資料夾生成一個`runs`的資料夾，裡面儲存的就是資料的 event file。
然後在命令列中輸入`tensorboard --logdir=lesson5/runs`啟動 tensorboard 服務，其中`lesson5/runs`是`runs`資料夾的路徑。然後命令列會顯示 tensorboard 的訪問地址：
```
TensorBoard 1.9.0 at http://LAPTOP-DPDNNJSU:6006 (Press CTRL+C to quit)
```
在瀏覽器中開啟，顯示如下：
最上面的一欄顯示的是資料型別，由於我們在程式碼中只記錄了 scalar 型別的資料，因此只顯示`SCALARS`。 右上角有一些功能設定
點選`INACTIVE`顯示我們沒有記錄的資料型別。設定裡可以設定重新整理 tensorboard 的間隔，在模型訓練時可以實時監控資料的變化。 左邊的選單欄如下，點選`Show data download links`可以展示每個圖的下載按鈕，如果一個圖中有多個數據，需要選中需要下載的曲線，然後下載，格式有 `csv`和`json`可選。
第二個選項`Ignore outliers in chart scaling`可以設定是否忽略離群點，在`y_pow_2_x`中，資料的尺度達到了 $10^{18}$，勾選`Ignore outliers in chart scaling`後 $y$ 軸的尺度下降到 $10^{17}$。
Soothing 是對影象進行平滑，下圖中，顏色較淡的陰影部分才是真正的曲線資料，Smoothing 設定為了 0.6，進行了平滑才展示為顏色較深的線。
Smoothing 設定為 0，沒有進行平滑，顯示如下：
Smoothing 設定為 1，則平滑後的線和 $x$ 軸重合，顯示如下：
`Horizontal Axis`表示橫軸：`STEP`表示原始資料作為橫軸，`RELATIVE`和`WALL`都是以時間作為橫軸，單位是小時，`RELATIVE`是相對時間，`WALL`是絕對時間。 `runs`顯示所有的 event file，可以選擇展示某些 event file 的影象，其中正方形按鈕是多選，圓形按鈕是單選。
上面的搜尋框可以根據 tags 來搜尋資料對應的影象
# optimizer 的屬性 PyTorch 中提供了 Optimizer 類，定義如下： ``` class Optimizer(object): def __init__(self, params, defaults): self.defaults = defaults self.state = defaultdict(dict) self.param_groups = [] ``` 主要有 3 個屬性 - defaults：優化器的超引數，如 weight_decay，momentum - state：引數的快取，如 momentum 中需要用到前幾次的梯度，就快取在這個變數中 - param_groups：管理的引數組，是一個 list，其中每個元素是字典，包括 momentum、lr、weight_decay、params 等。 - \_step_count：記錄更新 次數，在學習率調整中使用 # SummaryWriter ``` torch.utils.tensorboard.writer.SummaryWriter(log_dir=None, comment='', purge_step=None, max_queue=10, flush_secs=120, filename_suffix='') ``` 功能：提供建立 event file 的高階介面 主要功能： - log_dir：event file 輸出資料夾，預設為`runs`資料夾 - comment：不指定 log_dir 時，`runs`資料夾裡的子資料夾字尾 - filename_suffix：event_file 檔名字尾 程式碼如下： ``` log_dir = "./train_log/test_log_dir" writer = SummaryWriter(log_dir=log_dir, comment='_scalars', filename_suffix="12345678") # writer = SummaryWriter(comment='_scalars', filename_suffix="12345678") for x in range(100): writer.add_scalar('y=pow_2_x', 2 ** x, x) writer.close() ``` 執行後會生成`train_log/test_log_dir`資料夾，裡面的 event file 檔名字尾是`12345678`。
但是我們指定了`log_dir`，`comment`引數沒有生效。如果想要`comment`引數生效，把`SummaryWriter`的初始化改為`writer = SummaryWriter(comment='_scalars', filename_suffix="12345678")`，生成的資料夾如下，`runs`裡的子資料夾字尾是`_scalars`。
# add_scalar ``` add_scalar(tag, scalar_value, global_step=None, walltime=None) ``` 功能：記錄標量 - tag：影象的標籤名，圖的唯一標識 - scalar_value：要記錄的標量，y 軸的資料 - global_step：x 軸的資料 # add_scalars 上面的`add_scalar()`只能記錄一條曲線的資料。但是我們在實際中可能需要在一張圖中同時展示多條曲線，比如在訓練模型時，經常需要同時檢視訓練集和測試集的 loss。這時我們可以使用`add_scalars()`方法 ``` add_scalars(main_tag, tag_scalar_dict, global_step=None, walltime=None) ``` - main_tag：該圖的標籤 - tag_scalar_dict：用字典的形式記錄多個曲線。key 是變數的 tag，value 是變數的值 程式碼如下： ``` max_epoch = 100 writer = SummaryWriter(comment='test_comment', filename_suffix="test_suffix") for x in range(max_epoch): writer.add_scalar('y=2x', x * 2, x) writer.add_scalar('y=pow_2_x', 2 ** x, x) writer.add_scalars('data/scalar_group', {"xsinx": x * np.sin(x), "xcosx": x * np.cos(x)}, x) writer.close() ``` 執行後生成 event file，然後使用 TensorBoard 來檢視如下：
每個影象下面都有 3 個按鈕，中間的按鈕是以對數形式展示 y 軸。如對`y=pow_2_x`曲線的 y 軸取對數展示如下，變成了直線。
# add_histogram ``` add_histogram(tag, values, global_step=None, bins='tensorflow', walltime=None, max_bins=None) ``` 功能：統計直方圖與多分位折線圖 - tag：影象的標籤名，圖的唯一標識 - values：要統計的引數，通常統計權值、偏置或者梯度 - global_step：第幾個子圖 - bins：取直方圖的 bins 下面的程式碼構造了均勻分佈和正態分佈，迴圈生成了 2 次，分別用`matplotlib`和 TensorBoard 進行畫圖。 ``` writer = SummaryWriter(comment='test_comment', filename_suffix="test_suffix") for x in range(2): np.random.seed(x) data_union = np.arange(100) data_normal = np.random.normal(size=1000) writer.add_histogram('distribution union', data_union, x) writer.add_histogram('distribution normal', data_normal, x) plt.subplot(121).hist(data_union, label="union") plt.subplot(122).hist(data_normal, label="normal") plt.legend() plt.show() writer.close() ``` `matplotlib`畫圖顯示如下：
TensorBoard 顯示結果如下。 正態分佈顯示如下，每個子圖分別對應一個 global_step：
均勻分佈顯示如下，顯示曲線的原因和`bins`引數設定有關，預設是`tensorflow`：
除此之外，還會得到`DISTRIBUTIONS`，這是多分位折線圖，縱軸有 9 個折線，表示資料的分佈區間，某個區間的顏色越深，表示這個區間的數所佔比例越大。橫軸是 global_step。這個圖的作用是觀察數方差的變化情況。顯示如下：
# 模型指標監控 下面使用 TensorBoard 來監控人民幣二分類實驗訓練過程中的 loss、accuracy、weights 和 gradients 的變化情況。 首先定義一個`SummaryWriter`。 ``` writer = SummaryWriter(comment='test_your_comment', filename_suffix="_test_your_filename_suffix") ``` 然後在每次訓練中記錄 loss 和 accuracy 的值 ``` # 記錄資料，保存於event file writer.add_scalars("Loss", {"Train": loss.item()}, iter_count) writer.add_scalars("Accuracy", {"Train": correct / total}, iter_count) ``` 並且在驗證時記錄所有驗證集樣本的 loss 和 accuracy 的均值 ``` # 記錄資料，保存於event file writer.add_scalars("Loss", {"Valid": np.mean(valid_curve)}, iter_count) writer.add_scalars("Accuracy", {"Valid": correct / total}, iter_count) ``` 並且在每個 epoch 中記錄每一層權值以及權值的梯度。 ``` # 每個epoch，記錄梯度，權值 for name, param in net.named_parameters(): writer.add_histogram(name + '_grad', param.grad, epoch) writer.add_histogram(name + '_data', param, epoch) ``` 在訓練還沒結束時，就可以啟動 TensorBoard 視覺化，Accuracy 的視覺化如下，顏色較深的是訓練集的 Accuracy，顏色較淺的是 驗證集的樣本：
Loss 的視覺化如下，其中驗證集的 Loss 是從第 10 個 epoch 才開始記錄的，並且 驗證集的 Loss 是所有驗證集樣本的 Loss 均值，所以曲線更加平滑；而訓練集的 Loss 是 batch size 的資料，因此震盪幅度較大：
上面的 Loss 曲線圖與使用`matplotlib`畫的圖不太一樣，因為 TensorBoard 預設會進行 Smoothing，我們把 Smoothing 係數設定為 0 後，顯示如下：
而記錄權值以及權值梯度的 HISTOGRAMS 顯示如下，記錄了每一層的資料：
展開檢視第一層的權值和梯度。
可以看到每一個 epoch 的梯度都是呈正態分佈，說明權值分佈比較好；梯度都是接近於 0，說明模型很快就收斂了。通常我們使用 TensorBoard 檢視我們的網路引數在訓練時的分佈變化情況，如果分佈很奇怪，並且 Loss 沒有下降，這時需要考慮是什麼原因改變了資料的分佈較大的。如果前面網路層的梯度很小，後面網路層的梯度比較大，那麼可能是梯度消失，因為後面網路層的較大梯度反向傳播到前面網路層時已經變小了。如果前後網路層的梯度都很小，那麼說明不是梯度消失，而是因為 Loss 很小，模型已經接近收斂。 # add_image ``` add_image(tag, img_tensor, global_step=None, walltime=None, dataformats='CHW') ``` 功能：記錄影象 - tag：影象的標籤名，影象的唯一標識 - img_tensor：影象資料，需要注意尺度 - global_step：記錄這是第幾個子圖 - dataformats：資料形式，取值有'CHW'，'HWC'，'HW'。如果畫素值在 [0, 1] 之間，那麼預設會乘以 255，放大到 [0, 255] 範圍之間。如果有大於 1 的畫素值，認為已經是 [0, 255] 範圍，那麼就不會放大。 程式碼如下： ``` writer = SummaryWriter(comment='test_your_comment', filename_suffix="_test_your_filename_suffix") # img 1 random # 隨機噪聲的圖片 fake_img = torch.randn(3, 512, 512) writer.add_image("fake_img", fake_img, 1) time.sleep(1) # img 2 ones # 畫素值全為 1 的圖片，會乘以 255，所以是白色的圖片 fake_img = torch.ones(3, 512, 512) time.sleep(1) writer.add_image("fake_img", fake_img, 2) # img 3 1.1 # 畫素值全為 1.1 的圖片，不會乘以 255，所以是黑色的圖片 fake_img = torch.ones(3, 512, 512) * 1.1 time.sleep(1) writer.add_image("fake_img", fake_img, 3) # img 4 HW fake_img = torch.rand(512, 512) writer.add_image("fake_img", fake_img, 4, dataformats="HW") # img 5 HWC fake_img = torch.rand(512, 512, 3) writer.add_image("fake_img", fake_img, 5, dataformats="HWC") writer.close() ``` 使用 TensorBoard 視覺化如下：
圖片上面的`step`可以選擇第幾張圖片，如選擇第 3 張圖片，顯示如下：
# torchvision.utils.make_grid 上面雖然可以通過拖動顯示每張圖片，但實際中我們希望在網格中同時展示多張圖片，可以用到`make_grid()`函式。 ``` torchvision.utils.make_grid(tensor: Union[torch.Tensor, List[torch.Tensor]], nrow: int = 8, padding: int = 2, normalize: bool = False, range: Optional[Tuple[int, int]] = None, scale_each: bool = False, pad_value: int = 0) ``` 功能：製作網格影象 - tensor：影象資料，$B \times C \times H \times W$ 的形狀 - nrow：行數(列數是自動計算的，為：$\frac{B}{nrow}$) - padding：影象間距，單位是畫素，預設為 2 - normalize：是否將畫素值標準化到 [0, 255] 之間 - range：標準化範圍，例如原圖的畫素值範圍是 [-1000, 2000]，設定 range 為 [-600, 500]，那麼會把小於 -600 的畫素值變為 -600，那麼會把大於 500 的畫素值變為 500，然後標準化到 [0, 255] 之間 - scale_each：是否單張圖維度標準化 - pad_value：間隔的畫素值 下面的程式碼是人民幣圖片的網路視覺化，batch_size 設定為 16，nrow 設定為 4，得到 4 行 4 列的網路影象 ``` writer = SummaryWriter(comment='test_your_comment', filename_suffix="_test_your_filename_suffix") split_dir = os.path.join(enviroments.project_dir, "data", "rmb_split") train_dir = os.path.join(split_dir, "train") # train_dir = "path to your training data" # 先把寬高縮放到 [32， 64] 之間，然後使用 toTensor 把 Image 轉化為 tensor，並把畫素值縮放到 [0, 1] 之間 transform_compose = transforms.Compose([transforms.Resize((32, 64)), transforms.ToTensor()]) train_data = RMBDataset(data_dir=train_dir, transform=transform_compose) train_loader = DataLoader(dataset=train_data, batch_size=16, shuffle=True) data_batch, label_batch = next(iter(train_loader)) img_grid = vutils.make_grid(data_batch, nrow=4, normalize=True, scale_each=True) # img_grid = vutils.make_grid(data_batch, nrow=4, normalize=False, scale_each=False) writer.add_image("input img", img_grid, 0) writer.close() ``` TensorBoard 顯示如下：
# AlexNet 卷積核與特徵圖視覺化 使用 TensorBoard 視覺化 AlexNet 網路的前兩層卷積核。其中每一層的卷積核都把輸出的維度作為 global_step，包括兩種視覺化方式：一種是每個 (w, h) 維度作為灰度圖，新增一個 c 的維度，形成 (b, c, h, w)，其中 b 是 輸入的維度；另一種是把整個卷積核 reshape 到 c 是 3 的形狀，再進行視覺化。詳細見如下程式碼： ``` writer = SummaryWriter(comment='test_your_comment', filename_suffix="_test_your_filename_suffix") alexnet = models.alexnet(pretrained=True) # 當前遍歷到第幾層網路的卷積核了 kernel_num = -1 # 最多顯示兩層網路的卷積核:第 0 層和第 1 層 vis_max = 1 # 獲取網路的每一層 for sub_module in alexnet.modules(): # 判斷這一層是否為 2 維卷積層 if isinstance(sub_module, nn.Conv2d): kernel_num += 1 # 如果當前層大於1，則停止記錄權值 if kernel_num > vis_max: break # 獲取這一層的權值 kernels = sub_module.weight # 權值的形狀是 [c_out, c_int, k_w, k_h] c_out, c_int, k_w, k_h = tuple(kernels.shape) # 根據輸出的每個維度進行視覺化 for o_idx in range(c_out): # 取出的資料形狀是 (c_int, k_w, k_h)，對應 BHW; 需要擴充套件為 (c_int, 1, k_w, k_h)，對應 BCHW kernel_idx = kernels[o_idx, :, :, :].unsqueeze(1) # make_grid需要 BCHW，這裡拓展C維度 # 注意 nrow 設定為 c_int，所以行數為 1。在 for 迴圈中每 新增一個，就會多一個 global_step kernel_grid = vutils.make_grid(kernel_idx, normalize=True, scale_each=True, nrow=c_int) writer.add_image('{}_Convlayer_split_in_channel'.format(kernel_num), kernel_grid, global_step=o_idx) # 因為 channe 為 3 時才能進行視覺化，所以這裡 reshape kernel_all = kernels.view(-1, 3, k_h, k_w) #b, 3, h, w kernel_grid = vutils.make_grid(kernel_all, normalize=True, scale_each=True, nrow=8) # c, h, w writer.add_image('{}_all'.format(kernel_num), kernel_grid, global_step=kernel_num+1) print("{}_convlayer shape:{}".format(kernel_num, tuple(kernels.shape))) writer.close() ``` 使用 TensorBoard 視覺化如下。 這是根據輸出的維度分批展示第一層卷積核的視覺化
這是根據輸出的維度分批展示第二層卷積核的視覺化
這是整個第一層卷積核的視覺化
這是整個第二層卷積核的視覺化
下面把 AlexNet 的第一個卷積層的輸出進行視覺化，首先對圖片資料進行預處理(resize，標準化等操作)。由於在定義模型時，網路層通過nn.Sequential() 堆疊，儲存在 features 變數中。因此通過 features 獲取第一個卷積層。把圖片輸入卷積層得到輸出，形狀為 (1, 64, 55, 55)，需要轉換為 (64, 1, 55, 55)，對應 (B, C, H, W)，nrow 設定為 8，最後進行視覺化，程式碼如下： ``` writer = SummaryWriter(comment='test_your_comment', filename_suffix="_test_your_filename_suffix") # 資料 path_img = "./lena.png" # your path to image normMean = [0.49139968, 0.48215827, 0.44653124] normStd = [0.24703233, 0.24348505, 0.26158768] norm_transform = transforms.Normalize(normMean, normStd) img_transforms = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), norm_transform ]) img_pil = Image.open(path_img).convert('RGB') if img_transforms is not None: img_tensor = img_transforms(img_pil) img_tensor.unsqueeze_(0) # chw --> bchw # 模型 alexnet = models.alexnet(pretrained=True) # forward # 由於在定義模型時，網路層通過nn.Sequential() 堆疊，儲存在 features 變數中。因此通過 features 獲取第一個卷積層 convlayer1 = alexnet.features[0] # 把圖片輸入第一個卷積層 fmap_1 = convlayer1(img_tensor) # 預處理 fmap_1.transpose_(0, 1) # bchw=(1, 64, 55, 55) --> (64, 1, 55, 55) fmap_1_grid = vutils.make_grid(fmap_1, normalize=True, scale_each=True, nrow=8) writer.add_image('feature map in conv1', fmap_1_grid, global_step=322) writer.close() ``` 使用 TensorBoard 視覺化如下：
# add_graph ``` add_graph(model, input_to_model=None, verbose=False) ``` 功能：視覺化模型計算圖 - model：模型，必須繼承自 nn.Module - input_to_model：輸入給模型的資料，形狀為 BCHW - verbose：是否列印圖結構資訊 檢視 LeNet 的計算圖程式碼如下： ``` writer = SummaryWriter(comment='test_your_comment', filename_suffix="_test_your_filename_suffix") # 模型 fake_img = torch.randn(1, 3, 32, 32) lenet = LeNet(classes=2) writer.add_graph(lenet, fake_img) writer.close() ``` 使用 TensorBoard 視覺化如下： # torchsummary 模型計算圖的視覺化還是比較複雜，不夠清晰。而`torchsummary`能夠檢視模型的輸入和輸出的形狀，可以更加清楚地輸出模型的結構。 ``` torchsummary.summary(model, input_size, batch_size=-1, device="cuda") ``` 功能：檢視模型的資訊，便於除錯 - model：pytorch 模型，必須繼承自 nn.Module - input_size：模型輸入 size，形狀為 CHW - batch_size：batch_size，預設為 -1，在展示模型每層輸出的形狀時顯示的 batch_size - device："cuda"或者"cpu" 檢視 LeNet 的模型資訊程式碼如下： ``` # 模型 lenet = LeNet(classes=2) print(summary(lenet, (3, 32, 32), device="cpu")) ``` 輸出如下： ``` ---------------------------------------------------------------- Layer (type) Output Shape Param # ================================================================ Conv2d-1 [-1, 6, 28, 28] 456 Conv2d-2 [-1, 16, 10, 10] 2,416 Linear-3 [-1, 120] 48,120 Linear-4 [-1, 84] 10,164 Linear-5 [-1, 2] 170 ================================================================ Total params: 61,326 Trainable params: 61,326 Non-trainable params: 0 ---------------------------------------------------------------- Input size (MB): 0.01 Forward/backward pass size (MB): 0.05 Params size (MB): 0.23 Estimated Total Size (MB): 0.30 ---------------------------------------------------------------- None ``` 上述資訊分別有模型每層的輸出形狀，每層的引數數量，總的引數數量，以及模型大小等資訊。 我們以第一層為例，第一層卷積核大小是 (6, 3, 5, 5)，每個卷積核還有一個偏置，因此 $6 \times 3 \times 5 \times 5+6=456$。 **參考資料** - [深度之眼 PyTorch 框架班](https://ai.deepshare.net/detail/p_5df0ad9a09d37_qYqVmt85/6)
如果你覺得這篇文章對你有幫助，不妨點個贊，讓我有更多動力寫出好文章
最上面的一欄顯示的是資料型別，由於我們在程式碼中只記錄了 scalar 型別的資料，因此只顯示`SCALARS`。 右上角有一些功能設定
點選`INACTIVE`顯示我們沒有記錄的資料型別。設定裡可以設定重新整理 tensorboard 的間隔，在模型訓練時可以實時監控資料的變化。 左邊的選單欄如下，點選`Show data download links`可以展示每個圖的下載按鈕，如果一個圖中有多個數據，需要選中需要下載的曲線，然後下載，格式有 `csv`和`json`可選。
第二個選項`Ignore outliers in chart scaling`可以設定是否忽略離群點，在`y_pow_2_x`中，資料的尺度達到了 $10^{18}$，勾選`Ignore outliers in chart scaling`後 $y$ 軸的尺度下降到 $10^{17}$。
Soothing 是對影象進行平滑，下圖中，顏色較淡的陰影部分才是真正的曲線資料，Smoothing 設定為了 0.6，進行了平滑才展示為顏色較深的線。
Smoothing 設定為 0，沒有進行平滑，顯示如下：
Smoothing 設定為 1，則平滑後的線和 $x$ 軸重合，顯示如下：
`Horizontal Axis`表示橫軸：`STEP`表示原始資料作為橫軸，`RELATIVE`和`WALL`都是以時間作為橫軸，單位是小時，`RELATIVE`是相對時間，`WALL`是絕對時間。 `runs`顯示所有的 event file，可以選擇展示某些 event file 的影象，其中正方形按鈕是多選，圓形按鈕是單選。
上面的搜尋框可以根據 tags 來搜尋資料對應的影象
# optimizer 的屬性 PyTorch 中提供了 Optimizer 類，定義如下： ``` class Optimizer(object): def __init__(self, params, defaults): self.defaults = defaults self.state = defaultdict(dict) self.param_groups = [] ``` 主要有 3 個屬性 - defaults：優化器的超引數，如 weight_decay，momentum - state：引數的快取，如 momentum 中需要用到前幾次的梯度，就快取在這個變數中 - param_groups：管理的引數組，是一個 list，其中每個元素是字典，包括 momentum、lr、weight_decay、params 等。 - \_step_count：記錄更新 次數，在學習率調整中使用 # SummaryWriter ``` torch.utils.tensorboard.writer.SummaryWriter(log_dir=None, comment='', purge_step=None, max_queue=10, flush_secs=120, filename_suffix='') ``` 功能：提供建立 event file 的高階介面 主要功能： - log_dir：event file 輸出資料夾，預設為`runs`資料夾 - comment：不指定 log_dir 時，`runs`資料夾裡的子資料夾字尾 - filename_suffix：event_file 檔名字尾 程式碼如下： ``` log_dir = "./train_log/test_log_dir" writer = SummaryWriter(log_dir=log_dir, comment='_scalars', filename_suffix="12345678") # writer = SummaryWriter(comment='_scalars', filename_suffix="12345678") for x in range(100): writer.add_scalar('y=pow_2_x', 2 ** x, x) writer.close() ``` 執行後會生成`train_log/test_log_dir`資料夾，裡面的 event file 檔名字尾是`12345678`。
但是我們指定了`log_dir`，`comment`引數沒有生效。如果想要`comment`引數生效，把`SummaryWriter`的初始化改為`writer = SummaryWriter(comment='_scalars', filename_suffix="12345678")`，生成的資料夾如下，`runs`裡的子資料夾字尾是`_scalars`。
# add_scalar ``` add_scalar(tag, scalar_value, global_step=None, walltime=None) ``` 功能：記錄標量 - tag：影象的標籤名，圖的唯一標識 - scalar_value：要記錄的標量，y 軸的資料 - global_step：x 軸的資料 # add_scalars 上面的`add_scalar()`只能記錄一條曲線的資料。但是我們在實際中可能需要在一張圖中同時展示多條曲線，比如在訓練模型時，經常需要同時檢視訓練集和測試集的 loss。這時我們可以使用`add_scalars()`方法 ``` add_scalars(main_tag, tag_scalar_dict, global_step=None, walltime=None) ``` - main_tag：該圖的標籤 - tag_scalar_dict：用字典的形式記錄多個曲線。key 是變數的 tag，value 是變數的值 程式碼如下： ``` max_epoch = 100 writer = SummaryWriter(comment='test_comment', filename_suffix="test_suffix") for x in range(max_epoch): writer.add_scalar('y=2x', x * 2, x) writer.add_scalar('y=pow_2_x', 2 ** x, x) writer.add_scalars('data/scalar_group', {"xsinx": x * np.sin(x), "xcosx": x * np.cos(x)}, x) writer.close() ``` 執行後生成 event file，然後使用 TensorBoard 來檢視如下：
每個影象下面都有 3 個按鈕，中間的按鈕是以對數形式展示 y 軸。如對`y=pow_2_x`曲線的 y 軸取對數展示如下，變成了直線。
# add_histogram ``` add_histogram(tag, values, global_step=None, bins='tensorflow', walltime=None, max_bins=None) ``` 功能：統計直方圖與多分位折線圖 - tag：影象的標籤名，圖的唯一標識 - values：要統計的引數，通常統計權值、偏置或者梯度 - global_step：第幾個子圖 - bins：取直方圖的 bins 下面的程式碼構造了均勻分佈和正態分佈，迴圈生成了 2 次，分別用`matplotlib`和 TensorBoard 進行畫圖。 ``` writer = SummaryWriter(comment='test_comment', filename_suffix="test_suffix") for x in range(2): np.random.seed(x) data_union = np.arange(100) data_normal = np.random.normal(size=1000) writer.add_histogram('distribution union', data_union, x) writer.add_histogram('distribution normal', data_normal, x) plt.subplot(121).hist(data_union, label="union") plt.subplot(122).hist(data_normal, label="normal") plt.legend() plt.show() writer.close() ``` `matplotlib`畫圖顯示如下：
TensorBoard 顯示結果如下。 正態分佈顯示如下，每個子圖分別對應一個 global_step：
均勻分佈顯示如下，顯示曲線的原因和`bins`引數設定有關，預設是`tensorflow`：
除此之外，還會得到`DISTRIBUTIONS`，這是多分位折線圖，縱軸有 9 個折線，表示資料的分佈區間，某個區間的顏色越深，表示這個區間的數所佔比例越大。橫軸是 global_step。這個圖的作用是觀察數方差的變化情況。顯示如下：
# 模型指標監控 下面使用 TensorBoard 來監控人民幣二分類實驗訓練過程中的 loss、accuracy、weights 和 gradients 的變化情況。 首先定義一個`SummaryWriter`。 ``` writer = SummaryWriter(comment='test_your_comment', filename_suffix="_test_your_filename_suffix") ``` 然後在每次訓練中記錄 loss 和 accuracy 的值 ``` # 記錄資料，保存於event file writer.add_scalars("Loss", {"Train": loss.item()}, iter_count) writer.add_scalars("Accuracy", {"Train": correct / total}, iter_count) ``` 並且在驗證時記錄所有驗證集樣本的 loss 和 accuracy 的均值 ``` # 記錄資料，保存於event file writer.add_scalars("Loss", {"Valid": np.mean(valid_curve)}, iter_count) writer.add_scalars("Accuracy", {"Valid": correct / total}, iter_count) ``` 並且在每個 epoch 中記錄每一層權值以及權值的梯度。 ``` # 每個epoch，記錄梯度，權值 for name, param in net.named_parameters(): writer.add_histogram(name + '_grad', param.grad, epoch) writer.add_histogram(name + '_data', param, epoch) ``` 在訓練還沒結束時，就可以啟動 TensorBoard 視覺化，Accuracy 的視覺化如下，顏色較深的是訓練集的 Accuracy，顏色較淺的是 驗證集的樣本：
Loss 的視覺化如下，其中驗證集的 Loss 是從第 10 個 epoch 才開始記錄的，並且 驗證集的 Loss 是所有驗證集樣本的 Loss 均值，所以曲線更加平滑；而訓練集的 Loss 是 batch size 的資料，因此震盪幅度較大：
上面的 Loss 曲線圖與使用`matplotlib`畫的圖不太一樣，因為 TensorBoard 預設會進行 Smoothing，我們把 Smoothing 係數設定為 0 後，顯示如下：
而記錄權值以及權值梯度的 HISTOGRAMS 顯示如下，記錄了每一層的資料：
展開檢視第一層的權值和梯度。
可以看到每一個 epoch 的梯度都是呈正態分佈，說明權值分佈比較好；梯度都是接近於 0，說明模型很快就收斂了。通常我們使用 TensorBoard 檢視我們的網路引數在訓練時的分佈變化情況，如果分佈很奇怪，並且 Loss 沒有下降，這時需要考慮是什麼原因改變了資料的分佈較大的。如果前面網路層的梯度很小，後面網路層的梯度比較大，那麼可能是梯度消失，因為後面網路層的較大梯度反向傳播到前面網路層時已經變小了。如果前後網路層的梯度都很小，那麼說明不是梯度消失，而是因為 Loss 很小，模型已經接近收斂。 # add_image ``` add_image(tag, img_tensor, global_step=None, walltime=None, dataformats='CHW') ``` 功能：記錄影象 - tag：影象的標籤名，影象的唯一標識 - img_tensor：影象資料，需要注意尺度 - global_step：記錄這是第幾個子圖 - dataformats：資料形式，取值有'CHW'，'HWC'，'HW'。如果畫素值在 [0, 1] 之間，那麼預設會乘以 255，放大到 [0, 255] 範圍之間。如果有大於 1 的畫素值，認為已經是 [0, 255] 範圍，那麼就不會放大。 程式碼如下： ``` writer = SummaryWriter(comment='test_your_comment', filename_suffix="_test_your_filename_suffix") # img 1 random # 隨機噪聲的圖片 fake_img = torch.randn(3, 512, 512) writer.add_image("fake_img", fake_img, 1) time.sleep(1) # img 2 ones # 畫素值全為 1 的圖片，會乘以 255，所以是白色的圖片 fake_img = torch.ones(3, 512, 512) time.sleep(1) writer.add_image("fake_img", fake_img, 2) # img 3 1.1 # 畫素值全為 1.1 的圖片，不會乘以 255，所以是黑色的圖片 fake_img = torch.ones(3, 512, 512) * 1.1 time.sleep(1) writer.add_image("fake_img", fake_img, 3) # img 4 HW fake_img = torch.rand(512, 512) writer.add_image("fake_img", fake_img, 4, dataformats="HW") # img 5 HWC fake_img = torch.rand(512, 512, 3) writer.add_image("fake_img", fake_img, 5, dataformats="HWC") writer.close() ``` 使用 TensorBoard 視覺化如下：
圖片上面的`step`可以選擇第幾張圖片，如選擇第 3 張圖片，顯示如下：
# torchvision.utils.make_grid 上面雖然可以通過拖動顯示每張圖片，但實際中我們希望在網格中同時展示多張圖片，可以用到`make_grid()`函式。 ``` torchvision.utils.make_grid(tensor: Union[torch.Tensor, List[torch.Tensor]], nrow: int = 8, padding: int = 2, normalize: bool = False, range: Optional[Tuple[int, int]] = None, scale_each: bool = False, pad_value: int = 0) ``` 功能：製作網格影象 - tensor：影象資料，$B \times C \times H \times W$ 的形狀 - nrow：行數(列數是自動計算的，為：$\frac{B}{nrow}$) - padding：影象間距，單位是畫素，預設為 2 - normalize：是否將畫素值標準化到 [0, 255] 之間 - range：標準化範圍，例如原圖的畫素值範圍是 [-1000, 2000]，設定 range 為 [-600, 500]，那麼會把小於 -600 的畫素值變為 -600，那麼會把大於 500 的畫素值變為 500，然後標準化到 [0, 255] 之間 - scale_each：是否單張圖維度標準化 - pad_value：間隔的畫素值 下面的程式碼是人民幣圖片的網路視覺化，batch_size 設定為 16，nrow 設定為 4，得到 4 行 4 列的網路影象 ``` writer = SummaryWriter(comment='test_your_comment', filename_suffix="_test_your_filename_suffix") split_dir = os.path.join(enviroments.project_dir, "data", "rmb_split") train_dir = os.path.join(split_dir, "train") # train_dir = "path to your training data" # 先把寬高縮放到 [32， 64] 之間，然後使用 toTensor 把 Image 轉化為 tensor，並把畫素值縮放到 [0, 1] 之間 transform_compose = transforms.Compose([transforms.Resize((32, 64)), transforms.ToTensor()]) train_data = RMBDataset(data_dir=train_dir, transform=transform_compose) train_loader = DataLoader(dataset=train_data, batch_size=16, shuffle=True) data_batch, label_batch = next(iter(train_loader)) img_grid = vutils.make_grid(data_batch, nrow=4, normalize=True, scale_each=True) # img_grid = vutils.make_grid(data_batch, nrow=4, normalize=False, scale_each=False) writer.add_image("input img", img_grid, 0) writer.close() ``` TensorBoard 顯示如下：
# AlexNet 卷積核與特徵圖視覺化 使用 TensorBoard 視覺化 AlexNet 網路的前兩層卷積核。其中每一層的卷積核都把輸出的維度作為 global_step，包括兩種視覺化方式：一種是每個 (w, h) 維度作為灰度圖，新增一個 c 的維度，形成 (b, c, h, w)，其中 b 是 輸入的維度；另一種是把整個卷積核 reshape 到 c 是 3 的形狀，再進行視覺化。詳細見如下程式碼： ``` writer = SummaryWriter(comment='test_your_comment', filename_suffix="_test_your_filename_suffix") alexnet = models.alexnet(pretrained=True) # 當前遍歷到第幾層網路的卷積核了 kernel_num = -1 # 最多顯示兩層網路的卷積核:第 0 層和第 1 層 vis_max = 1 # 獲取網路的每一層 for sub_module in alexnet.modules(): # 判斷這一層是否為 2 維卷積層 if isinstance(sub_module, nn.Conv2d): kernel_num += 1 # 如果當前層大於1，則停止記錄權值 if kernel_num > vis_max: break # 獲取這一層的權值 kernels = sub_module.weight # 權值的形狀是 [c_out, c_int, k_w, k_h] c_out, c_int, k_w, k_h = tuple(kernels.shape) # 根據輸出的每個維度進行視覺化 for o_idx in range(c_out): # 取出的資料形狀是 (c_int, k_w, k_h)，對應 BHW; 需要擴充套件為 (c_int, 1, k_w, k_h)，對應 BCHW kernel_idx = kernels[o_idx, :, :, :].unsqueeze(1) # make_grid需要 BCHW，這裡拓展C維度 # 注意 nrow 設定為 c_int，所以行數為 1。在 for 迴圈中每 新增一個，就會多一個 global_step kernel_grid = vutils.make_grid(kernel_idx, normalize=True, scale_each=True, nrow=c_int) writer.add_image('{}_Convlayer_split_in_channel'.format(kernel_num), kernel_grid, global_step=o_idx) # 因為 channe 為 3 時才能進行視覺化，所以這裡 reshape kernel_all = kernels.view(-1, 3, k_h, k_w) #b, 3, h, w kernel_grid = vutils.make_grid(kernel_all, normalize=True, scale_each=True, nrow=8) # c, h, w writer.add_image('{}_all'.format(kernel_num), kernel_grid, global_step=kernel_num+1) print("{}_convlayer shape:{}".format(kernel_num, tuple(kernels.shape))) writer.close() ``` 使用 TensorBoard 視覺化如下。 這是根據輸出的維度分批展示第一層卷積核的視覺化
這是根據輸出的維度分批展示第二層卷積核的視覺化
這是整個第一層卷積核的視覺化
這是整個第二層卷積核的視覺化
下面把 AlexNet 的第一個卷積層的輸出進行視覺化，首先對圖片資料進行預處理(resize，標準化等操作)。由於在定義模型時，網路層通過nn.Sequential() 堆疊，儲存在 features 變數中。因此通過 features 獲取第一個卷積層。把圖片輸入卷積層得到輸出，形狀為 (1, 64, 55, 55)，需要轉換為 (64, 1, 55, 55)，對應 (B, C, H, W)，nrow 設定為 8，最後進行視覺化，程式碼如下： ``` writer = SummaryWriter(comment='test_your_comment', filename_suffix="_test_your_filename_suffix") # 資料 path_img = "./lena.png" # your path to image normMean = [0.49139968, 0.48215827, 0.44653124] normStd = [0.24703233, 0.24348505, 0.26158768] norm_transform = transforms.Normalize(normMean, normStd) img_transforms = transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), norm_transform ]) img_pil = Image.open(path_img).convert('RGB') if img_transforms is not None: img_tensor = img_transforms(img_pil) img_tensor.unsqueeze_(0) # chw --> bchw # 模型 alexnet = models.alexnet(pretrained=True) # forward # 由於在定義模型時，網路層通過nn.Sequential() 堆疊，儲存在 features 變數中。因此通過 features 獲取第一個卷積層 convlayer1 = alexnet.features[0] # 把圖片輸入第一個卷積層 fmap_1 = convlayer1(img_tensor) # 預處理 fmap_1.transpose_(0, 1) # bchw=(1, 64, 55, 55) --> (64, 1, 55, 55) fmap_1_grid = vutils.make_grid(fmap_1, normalize=True, scale_each=True, nrow=8) writer.add_image('feature map in conv1', fmap_1_grid, global_step=322) writer.close() ``` 使用 TensorBoard 視覺化如下：
# add_graph ``` add_graph(model, input_to_model=None, verbose=False) ``` 功能：視覺化模型計算圖 - model：模型，必須繼承自 nn.Module - input_to_model：輸入給模型的資料，形狀為 BCHW - verbose：是否列印圖結構資訊 檢視 LeNet 的計算圖程式碼如下： ``` writer = SummaryWriter(comment='test_your_comment', filename_suffix="_test_your_filename_suffix") # 模型 fake_img = torch.randn(1, 3, 32, 32) lenet = LeNet(classes=2) writer.add_graph(lenet, fake_img) writer.close() ``` 使用 TensorBoard 視覺化如下： # torchsummary 模型計算圖的視覺化還是比較複雜，不夠清晰。而`torchsummary`能夠檢視模型的輸入和輸出的形狀，可以更加清楚地輸出模型的結構。 ``` torchsummary.summary(model, input_size, batch_size=-1, device="cuda") ``` 功能：檢視模型的資訊，便於除錯 - model：pytorch 模型，必須繼承自 nn.Module - input_size：模型輸入 size，形狀為 CHW - batch_size：batch_size，預設為 -1，在展示模型每層輸出的形狀時顯示的 batch_size - device："cuda"或者"cpu" 檢視 LeNet 的模型資訊程式碼如下： ``` # 模型 lenet = LeNet(classes=2) print(summary(lenet, (3, 32, 32), device="cpu")) ``` 輸出如下： ``` ---------------------------------------------------------------- Layer (type) Output Shape Param # ================================================================ Conv2d-1 [-1, 6, 28, 28] 456 Conv2d-2 [-1, 16, 10, 10] 2,416 Linear-3 [-1, 120] 48,120 Linear-4 [-1, 84] 10,164 Linear-5 [-1, 2] 170 ================================================================ Total params: 61,326 Trainable params: 61,326 Non-trainable params: 0 ---------------------------------------------------------------- Input size (MB): 0.01 Forward/backward pass size (MB): 0.05 Params size (MB): 0.23 Estimated Total Size (MB): 0.30 ---------------------------------------------------------------- None ``` 上述資訊分別有模型每層的輸出形狀，每層的引數數量，總的引數數量，以及模型大小等資訊。 我們以第一層為例，第一層卷積核大小是 (6, 3, 5, 5)，每個卷積核還有一個偏置，因此 $6 \times 3 \times 5 \times 5+6=456$。 **參考資料** - [深度之眼 PyTorch 框架班](https://ai.deepshare.net/detail/p_5df0ad9a09d37_qYqVmt85/6)
如果你覺得這篇文章對你有幫助，不妨點個贊，讓我有更多動力寫出好文章