目標：使用Docker部署Ceph儲存叢集

環境：CentOS 7

步驟：建立Ceph專用網路->建立Monitor->建立OSD->建立RGW並測試物件儲存->建立MDS並測試檔案系統->建立MGR

前期準備：Linux主機需提前安裝Docker

1.建立Ceph專用網路

為了和docker預設網路區別，新建一個ceph叢集專用網路：

docker network create --driver bridge ceph-net

docker network inspect ceph-net

2.建立Monitor

完成專用網路構建後，開始部署ceph叢集，第一步為啟動Ceph Monitor - 叢集監控容器。

Ceph Monitor 維護著展示叢集狀態的各種圖表。

路徑設定：DIR $(pwd)

docker run -d --net=ceph-net -v ${DIR}/ceph:/etc/ceph -v ${DIR}/lib/ceph/:/var/lib/ceph/ -e MON_IP=172.19.0.2 -e CEPH_PUBLIC_NETWORK=172.19.0.0/16 --name=mon1 ceph/daemon mon

檢視monitor部署情況：

docker exec -ti mon1 ceph -v

docker exec -ti mon1 ceph -s

3.建立OSD

Ceph OSD為物件儲存守護程序，提供實際的儲存，預設情況下ceph叢集需要部署3個OSD。

環境準備：為Linux主機新增3塊20GB硬碟(/dev/vdb、/dev/vdc、/dev/vdd)

docker run -d --net=ceph-net --privileged=true --pid=host -v ${DIR}/ceph:/etc/ceph -v ${DIR}/lib/ceph/:/var/lib/ceph/ -v /dev/:/dev/ -e OSD_DEVICE=/dev/vdb -e OSD_TYPE=disk -e OSD_FORCE_ZAP=1 --name osd1 ceph/daemon osd

檢視osd部署情況：

docker exec -ti osd1 df | grep "osd"

docker exec -ti mon1 ceph -s

osd2與osd3部署過程類似，只需將/dev裝置換成對應的即可。

4.建立RGW並測試物件儲存

Ceph RGW - Rados閘道器：提供S3與Swift相容的API，儲存資料至物件儲存。

docker run -d --net=ceph-net -v ${DIR}/lib/ceph/:/var/lib/ceph/  -v ${DIR}/ceph:/etc/ceph -p 8080:8080 --name=rgw1 ceph/daemon rgw

curl工具測試部署情況：

curl -H "Content-Type: application/json" "http://127.0.0.1:8080"

下載測試檔案：

wget "https://gist.githubusercontent.com/kairen/e0dec164fa6664f40784f303076233a5/raw/33add5a18cb7d6f18531d8d481562d017557747c/s3client"

chmod u+x s3clinet

安裝執行依賴：

yum install python-pip

pip install boto

物件儲存測試：

(1)建立一個使用者

docker exec -ti rgw1 radosgw-admin user create --uid="test" --display-name="I'm Test account" --email="[email protected]"

(2)建立環境引數配置檔案

vim s3key.sh

key資訊對照test使用者

(3)列出當前bucket

./s3client list

(4)建立一個bucket並上傳檔案

./s3client create files

./s3client upload files s3key.sh /

./s3client list files

5.建立MDS並測試檔案系統

Ceph MDS - 元資料伺服器，為ceph檔案系統儲存元資料。

docker run -d --net=ceph-net -v ${DIR}/lib/ceph/:/var/lib/ceph/ -v ${DIR}/ceph:/etc/ceph -e CEPHFS_CREATE=1 --name=mds1 ceph/daemon mds

檢視部署情況：

docker exec -ti mds1 ceph mds stat

docker exec -ti mds1 ceph fs ls

6.建立MGR

Ceph MGR - 叢集管理元件

docker run -d --net=ceph-net -v ${DIR}/ceph:/etc/ceph -v ${DIR}/lib/ceph/:/var/lib/ceph/ --name=mgr1 ceph/daemon mgr

docker ps

docker exec -it mon1 ceph -s

以上，Ceph叢集容器化部署完成。