使用Docker搭建tensorflow nmt開發環境

Docker是目前最流行的容器技術. 可以將Docker看成輕量級的虛擬機器,但是它非常輕量. 它像是一艘運輸船,將開發或者運維等等過程中所需要的依賴全部打包到一個映象(image)中, 任何人只需要將該映象拉取下來, 就可以開箱即用, 不需要自己去安裝一大堆依賴. 同時因為這些依賴都是執行在容器裡面的, 不會汙染宿主機的環境, 因此非常適合用來開發運維等等.

Docker的官方網站有更加詳細的介紹和非常棒的技術文件: Docker

本教程將帶領大家使用Docker搭建tensorflow的開發環境.
tensorflow官方也有安裝的文件，建議首先按照官方文件來安裝，如果遇到問題，可以回來參考本文．　　

需要說明的是, tensorflow有CPU和GPU兩種版本, 本教程使用的是GPU版本,如果你需要安裝CPU版本，請參考tensorflow的文件.

本教程所使用的環境　　

本教程使用的環境如下：　　
* 系統是Ubuntu 16.04 amd64
* 顯示卡是GTX 1080ti　　

使用GPU版本的tensorflow需要使用CUDA toolkit，本文後續會有講解.
接下來，可以正式進入到開發環境的搭建過程．　　

Docker的安裝　　

Docker有CE和EE兩個版本,對於個人使用者,建議安裝Docker-CE.
Docker官方有非常詳細的安裝文件:

本教程將主要步驟羅列如下:
* 解除安裝舊版本的Docker
* 使用apt安裝Docker

使用apt安裝Docker

在Ubuntu平臺上使用apt安裝Docker非常方便.按照如下步驟,一般不會出現問題.

step 1.設定軟體倉庫

$ sudo apt-get update  
$ sudo apt-get install \
    apt-transport-https \
    ca-certificates \
    curl \
    software-properties-common  

step2.新增官方的GPG key

$ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -  

如果你想驗證指紋,則:

sudo apt-key fingerprint 0EBFCD88

你會看到如下輸出:

pub   4096R/0EBFCD88 2017-02-22
      Key fingerprint = 9DC8 5822 9FC7 DD38 854A  E2D8 8D81 803C 0EBF CD88
uid                  Docker Release (CE deb) <[email protected]>
sub   4096R/F273FCD8 2017-02-22  

step 3.新增軟體源到apt
本步驟需要選擇合適的軟體源, 本教程使用的是Ubuntu 16.04 amd64,並且想使用 穩定版 的docker,因此需要這樣做:

$ sudo add-apt-repository \
   "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
   $(lsb_release -cs) \
   stable"  

如果你的平臺不是這樣的,請參考官方文件的說明: Docker安裝

step 4.安裝Docker
接下來就可以安裝Docker了.

$ sudo apt-get update  
$ sudo apt-get install docker-ce  

你可以使用一定的方式確保Docker已經正確安裝,比如輸入如下命令:

$ sudo docker run hello-world  

該命令會執行一個新的容器,如果成功,你會看到類似於列印資訊.
至此,Docker已經安裝完畢.

Docker的常用設定

Docker安裝好之後,還需要一定的設定,這些設定可以讓你使用的更加舒適.

使用DaoClould加速

輸入如下命令，即可使用DaoCloud給你的Docker加速：　　

curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://85f32c34.m.daocloud.io  

更改Docker映象存放的路徑

Docker的映象預設放在　/var/lib/docker 目錄下，當映象越來越多，磁碟空間越發緊張，為此，可以講映象存放路徑改到大容量的磁碟中去．　　
用你喜歡的編輯器開啟　/etc/default/docker 檔案，在 DOCKER_OPTS選項寫上你的自定義路徑：　　

DOCKER_OPTS="-g $YOUR_PATH"

修改之後，重啟docker:

$ systemctl restart docker  

將使用者新增到docker組，免輸sudo　　

此時，Docker已經安裝完畢並且可以正常使用了，但是你每次都需要輸入sudo．　　
為了免輸sudo，Docker提供了相關的方法，你可以檢視官方文件使用者新增到docker組

簡單來說就以下幾個步驟：　　

$ sudo groupadd docker  
$ sudo usermod -aG docker $USER  

完成之後，你可以試驗以下：　　

docker run hello-world  

不出意外，可以執行成功．　　

至此，Docker的安裝和配置已經完成．　　

接下來就是Tensorflow GPU版本的安裝了．　　

Tensorflow GPU版本的安裝　　　　

然後，為了能在docker裡面使用tensorflow gpu版本，你需要安裝nvidia-docker．

安裝好之後，就可以拉取tensorflow-gpu映象，然後啟動容易開始開發了．　　

nvidia-docker的安裝　　

在此給出Ubuntu 16.04 版本的apt安裝方式：　　

# If you have nvidia-docker 1.0 installed: we need to remove it and all existing GPU containers
docker volume ls -q -f driver=nvidia-docker | xargs -r -I{} -n1 docker ps -q -a -f volume={} | xargs -r docker rm -f
sudo apt-get purge -y nvidia-docker

# Add the package repositories
curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | \
  sudo apt-key add -
curl -s -L https://nvidia.github.io/nvidia-docker/ubuntu16.04/amd64/nvidia-docker.list | \
  sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update

# Install nvidia-docker2 and reload the Docker daemon configuration
sudo apt-get install -y nvidia-docker2
sudo pkill -SIGHUP dockerd

# Test nvidia-smi with the latest official CUDA image
docker run --runtime=nvidia --rm nvidia/cuda nvidia-smi

至此，nvidia-docker安裝好了．　　

拉取映象並執行　　

根據tensorflow的官方文件，可以按照以下命令啟動容器：　

$ nvidia-docker run -it -p 8888:8888 gcr.io/tensorflow/tensorflow:latest-gpu bash

但是本人經過實驗並不能成功，忘記是什麼原因導致的了，估計是網路原因．　

解決這個問題也很簡單，tensorflow會上傳映象到docker hub，我們用docker hub裡面拉取映象即可．

這裡可以檢視所有的tensorflow 標籤: tensorflow tags

我們修改命令如下：　　

$ nvidia-docker run -it -p 8888:8888 tensorflow/tensorflow:latest-gpu-py3 bash

這將啟動一個新的容器，你可以在裡面開始進行開發啦．　

該容器的python版本是3.ｘ的，你可以測試一下，如果你需要安裝py2.x的，將上面命令最後的 latest-gpu-py3 改成　latest-gpu 即可．　　

值得注意的是，使用tensorflow gpu版本的容器，必須要用nvidia-docker而不是docker命令 啟動容器，否則會提示找不到 libcuda8.0.so libcudnn6.0.so 等問題！！！

至此，tensorflow gpu版本的開發環境已經配置好了！可以進行開發了！

聯絡我

如果你發現部落格內容有不對或者說的不清楚的地方,請聯絡我,我將第一時間改正,盡我的最大能力將問題講清楚.
我的郵箱: [email protected]

以下是我的公眾號，不定期和大家分享技術文章．如果你覺得我的文章對你有幫助，麻煩關注一下喲：