Docker： 使用jupyter notebook基礎映象搭建自己的PyTorch開發環境

關鍵字：docker jupyter notebook pytorch spotlight

啟動最基本的jupyter notebook映象：

使用基礎映象jupyter/datascience-notebook,因為它預裝了常用的模組：pandas, matplotlib, scipy, seaborn, scikit-learn, scikit-image, sympy, cython, patsy, statsmodel, cloudpickle, dill, numba, bokeh；

docker run -it --rm -p 8888:8888 jupyter/datascience-notebook:281505737f8a

其中
docker run是使用一個映象生成一個執行的容器；

-it指互動模式，啟動後終端在執行著的容器裡面，與之對應的有-d後端執行模式，啟動後終端互動在實體機，要想進入容器需要使用命令docker exec -it container-name bash docker exec -it container-name意為互動模式進入正在執行的一個容器，bash意為進入容器後使用的命令，這裡用的是bash，這樣進入容器後就能執行shell；

--rm意為退出shell的時候自動刪除容器，常在測試的時候使用，這樣不用每次修改去刪除已有的容器；

-p 8888:8888指的是埠對映，前面的是實體機的埠，後面是容器裡面暴露出的埠，兩邊埠可以不一樣，這樣同一個映象可以啟動多個對應不同埠的服務；

jupyter/datascience-notebook:281505737f8a是映象名字，冒號後面的是tag，類似於版本的概念，如果不顯式的給出tag每次都回從hub上拉取latest的映象，如果網路環境不好的話比較費時間，推薦顯式給出tag，這樣每次構建都會使用已有的映象。

啟動後就可以在終端看到：

[I 04:01:05.691 NotebookApp] Running the core application with
 
 no additional extensions or settings
[I 04:01:05.692 NotebookApp] Serving notebooks from local directory: /home/jovyan
[I 04:01:05.692 NotebookApp] 0 active kernels
[I 04:01:05.692 NotebookApp] The Jupyter Notebook is running at:
[I 04:01:05.692 NotebookApp] http://[all ip addresses on your system]:8888/?token=0a3331628e0e35f94eb0ad543faeb3e396fbccfa3ff06e5a
[I 04:01:05.692 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[C 04:01:05.692 NotebookApp] 

    Copy/paste this URL into your browser when you connect for the first time,
    to login with a token:
        http://localhost:8888/?token=0a3331628e0e35f94eb0ad543faeb3e396fbccfa3ff06e5a

此時是停在容器裡面，開啟瀏覽器 訪問http://localhost:8888/?token=0a3331628e0e35f94eb0ad543faeb3e396fbccfa3ff06e5a 即可開啟基本的jupyter notebook 環境，後面的token是隨機生成的；

啟動帶許可權的容器

生成自定義token

# Python指令碼生成密碼
import IPython
IPython.lib.passwd()

輸入密碼生成token

test的token：sha1:6587feaef3b1:6b243404e4cfaafe611fdf494ee71fdaa8c4a563

自定義token執行容器：

docker run -d -p 8888:8888 jupyter/datascience-notebook start-notebook.sh --NotebookApp.password='sha1:6587feaef3b1:6b243404e4cfaafe611fdf494ee71fdaa8c4a563'

這時訪問http://localhost:8888/會出現輸入密碼的頁面，輸入正確的密碼才能進入jupyter。

共享目錄

-v引數

docker提供-v引數使實體機和容器共享目錄，這對於有狀態的服務很有用，目錄掛載新增引數：
-v /home/jason/jason/docker/notebook:/home/jovyan/work

執行帶有目錄共享的容器

docker run -it --rm -p 8888:8888 -v /home/jason/jason/docker/notebook:/home/jovyan/work   jupyter/datascience-notebook start-notebook.sh --NotebookApp.password='sha1:6587feaef3b1:6b243404e4cfaafe611fdf494ee71fdaa8c4a563'

這樣在jupyter裡新建的notebook都會出現在實體機指定的目錄裡。由於這個映象的原因 需在work目錄下新建才能在實體機看到。

基於jupyter/datascience-notebook 生成pytorch image

Dockerfile

因為沒有合適的pytorch映象，自己編輯Dockerfile:

新建檔案Dockerfile並編輯內容：

FROM jupyter/datascience-notebook:281505737f8a
MAINTAINER Jason.W. "[email protected]"
# 下面是按官網的方法安裝spotlight
#RUN pip --no-cache-dir install --upgrade install http://download.pytorch.org/whl/cu75/torch-0.2.0.post3-cp36-cp36m-manylinux1_x86_64.whl 
#RUN pip --no-cache-dir install --upgrade torchvision

# pytorch
RUN conda install pytorch torchvision -c soumith
# spotlight(https://github.com/maciejkula/spotlight)
RUN conda install -c maciejkula -c soumith spotlight=0.1.2

build

在Dockerfile目錄裡執行命令：docker build -t jianchengss/datascience-pytorch:0.1 .
這樣就生成了image：jianchengss/datascience-pytorch:0.1可以執行docker images檢視本機上所有的image。

從構建的映象執行容器

docker run -it --rm -p 8888:8888 -v ~/workspace/python/notebooks-pytorch:/home/jovyan/work  --privileged=true jianchengss/datascience-pytorch:0.1 start-notebook.sh --NotebookApp.password='sha1:6587feaef3b1:6b243404e4cfaafe611fdf494ee71fdaa8c4a563'

最終容器

經過以上步驟，測試完成後既可以執行最終執行的命令 注意 token換成自己的

docker run -d -p 8588:8888 -v ~/workspace/python/notebooks-pytorch:/home/jovyan/work  --privileged=true --name=pytorch jianchengss/datascience-pytorch:0.1 start-notebook.sh --NotebookApp.password='sha1:7aee2f913c8e:17d40f203cbd5c9820f302894a92724c3de9fba6'

-it --rm 換成了 -d,比之前多的引數有：

--name=pytorch，意為給container取一個名字，好區分和管理，預設的話名字為一串隨機的字串。

--privileged=true出現資料夾訪問許可權的時候新增該屬性

此時執行docker ps即可檢視執行著的容器：

CONTAINER ID        IMAGE                                 COMMAND                  CREATED             STATUS              PORTS                    NAMES
3bd3e30e9ab3        jianchengss/datascience-pytorch:0.1   "tini -- start-notebo"   4 seconds ago       Up 3 seconds        0.0.0.0:8588->8888/tcp   pytorch

進入容器操作

容器啟動後有時候需要進入容器操作，比方說檢視資訊或者安裝新的軟體，此時執行docker exec -it pytorch bash

其他命令

docker stop container-name # 停止執行著的容器
docker rm container-name # 刪除已有的容器，要先停止
docker rmi image-name # 刪除已有的映象