Google colab 掛載gdrive(詳細Colab工作流程式碼)
阿新 • • 發佈:2021-11-22
掛載雲盤
import os
print(os.getcwd())
from google.colab import drive
drive.mount('/content/gdrive')
修改工作路徑
path = "/content/gdrive/MyDrive/nlp"
os.chdir(path)
print(os.getcwd())
Colab 上的工作流:
來自
1、將本地資料集壓縮成單個壓縮檔案,上傳到 Google Drive 中。
2、開啟一個 Notebook,mount Google Drive。
from google.colab import drive drive.mount('/content/drive')
- 在 Notebook 中新增一個 Section 命名為「安裝環境」。然後在這個 Section 中做一些資料複製、解壓,以及安裝第三方包的工作。例項程式碼如下:
!mkdir ./data
!cp /content/drive/MyDrive/xxx.zip ./data/
!cd ./data && unzip xxx.zip
因為直接從 Drive 中讀取資料是通過網路傳輸的,並不是從本地檔案磁碟讀取。如果資料檔案多,那麼就會發很多次網路請求,導致載入資料非常慢,進而嚴重影響訓練速度;這也是很多小夥伴抱怨 Colab 慢的原因之一。所以我們提前壓縮好資料集檔案,每次訓練前複製壓縮檔案到例項的磁碟,再進行解壓,最大程度保證網路傳輸次數少,傳輸資料量小。
# 安裝需要的庫
!pip install -r requirements.txt
- 環境準備好後,寫好訓練程式碼就可以開始訓練了。
%cd /content/drive/MyDrive/
!python train.py