conda 配置pytorch gpu環境 + pytorch lightning
阿新 • • 發佈：2022-03-01
使用miniconda在伺服器上配置pytorch_gpu執行環境，pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0， scp上傳下載檔案簡單介紹。
1. 安裝miniconda
- 下載安裝包
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-latest-Linux-x86_64.sh
- 執行程式
bash Miniconda3-latest-Linux-x86_64.sh
- 重啟終端或者source .bashrc後安裝完畢；執行conda，不報錯說明安裝成功
2. 更換為清華源（介意安裝pytorch時候用預設源即可）
PS：後新增的會排在channels列表的最上面，因此越後新增的優先順序越高。
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ conda config --set show_channel_urls yes conda config --set auto_activate_base false pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
或者修改.condarc檔案：
channels: - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/ - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/ - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ - defaults show_channel_urls: true auto_activate_base: false
PS: 這裡的順序最好一致，排在越上面的表示優先順序越高，因此在安裝pytorch的時候，會優先在第一個源倉庫中去尋找。而gpu版本的pytorch也只有第一個倉庫中含有。
conda恢復預設源的方法：
config --remove-key channels
conda config --set show_channel_urls yes
conda config --set auto_activate_base false
或移除清華源：
conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
或者修改.condarc檔案：
channels:
- defaults
show_channel_urls: true
auto_activate_base: false
3. 新建python3.8環境
conda create -n torch python=3.8
並激活該環境，進入該環境後才能將pytorch安裝在此環境中：
conda activate torch
4. 安裝pytorch
4.1 使用預設源安裝pytorch
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch
4.2 使用清華源安裝pytorch
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0
4.3 指定channel安裝pytorch
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch
4.4 本地安裝pytorch
這裡用pytorch 1.7.1 cuda版本舉例。
4.4.1 下載所需的安裝包
從清華開源映象中找到所需要的安裝包：
下載對應的安裝包
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/linux-64/pytorch-1.7.1-py3.8_cuda11.0.221_cudnn8.0.5_0.tar.bz2
或者本地用迅雷下載資源（速度較快）
然後通過scp指令上傳到伺服器：
scp /Users/username/Downloads/filename username@servername:/path
補充：多檔案拷貝
scp /Users/username/filedir/filename1 filename2 filename3 username@servername:/path
PS:
scp使用金鑰驗證並上傳檔案到伺服器：
scp -i 證書的絕對路徑/證書.perm 路徑/需要上傳的檔案 username@servername:/path
scp下載單檔案指令：
scp username@servername:/path/filename /localdir（本地目錄）
補充：
1. 多檔案拷貝
scp username@servername:/path/\{filename1,filename2,filename3,filepre.* \} /localdir
2. scp預設連線的遠端主機22埠，如果ssh不是使用標準的22埠（以222為例）則使用-P（P大寫）指定：
scp -P 222 username@servername:/path/filename /localdir（本地目錄）
scp下載目錄檔案指令：
scp -r username@servername:/var/www/remote_dir/（遠端目錄） /local_dir（本地目錄）
scp上傳目錄檔案指令：
scp -r local_dir username@servername:remote_dir
4.4.2 conda本地安裝
conda install --use-local pytorch-1.7.1-py3.8_cuda11.0.221_cudnn8.0.5_0.tar.bz2
測試時候會報錯，原因是沒有安裝相關依賴：
提示說明缺少動態連結庫檔案，檔案在mkl庫中，需要另外安裝。
安裝所需要的依賴後即可：
conda install mkl
5. 測試pytorch是否安裝成功
終端執行python，並輸入以下命令：
import torch
print(torch.__version__, torch.cuda.is_available())
如果結果如下，則說明cuda版本的pytorch安裝成功。
6. 安裝pytorch_lightning
前提：安裝的pytorch至少應該是1.7版本。
conda install pytorch-lightning