1. 程式人生 > 其它 >一個使下載國外資料集速度提升一千倍以上的方法

一個使下載國外資料集速度提升一千倍以上的方法

技術標籤:踩坑總結深度學習資料集

在有外網許可權的條件下,使用終端下載下面的資料集時,速度慢的驚人
只有十幾k,按照這個速度,我能下一天,同時過久的下載很可能會中斷,導致一直下載失敗
在這裡插入圖片描述
理論上有外網,同時網速夠快,應該能夠以較快的速度下載,但是結果有點讓人心塞。
外網的答案,說使用 mwget,但是對我來說,沒啥用。
因此,我想到 我下載谷歌網盤的資料時,速度能達到十幾兆,那麼是否可以使用 colab 將資料集下載到 colab 上,然後再從 谷歌網盤上下載。
經過一番嘗試果然這個思路是可以的

1、登入 colab
https://colab.research.google.com/
登入賬號

2、載入谷歌網盤

from google.colab import drive
drive.mount('/content/drive')

需要驗證郵箱
3、進入到谷歌網盤的路徑下

cd /content/drive
!wget  http://datasets.d2.mpi-inf.mpg.de/MPIIGaze/MPIIFaceGaze.zip # 下載資料集

在這裡插入圖片描述
4、登入谷歌網盤進行下載即可