1、多GPUs進行平行計算，Caffe自帶實現. 在多個 GPU 上執行 Caffe 需要使用 NVIDIA NCCL。

剛開始裝的時候，我也踩了許多坑，直到在谷歌上找到NVIDIA的官方文件，才有效的解決了安裝的問題。

官方nccl的安裝說明:https://docs.nvidia.com/deeplearning/sdk/nccl-install-guide/index.html

https://docs.nvidia.com/deeplearning/sdk/nccl-install-guide/index.html

我主要是參考安裝文件中的下面三句命令：

因為在官網上我下的是網路儲存庫版本，（ps:但是我一直以為是本地儲存庫，請大家一定要看清自己下的安裝包的名稱，對號入座

之後，在我的伺服器上輸入：

sudo dpkg -i nvidia-machine-learning-repo-ubuntu1604_1.0.0-1_amd64.deb


sudo apt update


sudo apt install libnccl2=2.2.13-1+cuda9.0 libnccl-dev=2.2.13-1+cuda9.0

沒有報錯，安裝成功。