Yum：

點選圖中CentOS7就可以下載網易的repo檔案，將其拷貝到/etc/yum.repos.d/目錄下就能線上使用網易的源了。

EPEL: Extra Packages for Enterprise Linux

點選上圖中的連結，將會下載一個名為epel-release-latest-7.noarch.rpm的軟體包，只要把它安裝上，/etc/yum.repos.d/目錄下將會出現新的repo檔案

使用CEPH提供塊裝置

1、CEPH預設有一個儲存池

[[email protected] ceph_conf]# ceph osd lspools

2、為了能夠給客戶端提供塊裝置，需要建立image

3、在預設的池中建立一個10GB

[[email protected] ceph_conf]# rbd create demo-image --image-feature layering --size 10G

4、另一種建立方法：指定在rbd這個池裡建立一個名為image的映象

[[email protected] ceph_conf]# rbd create rbd/image --image-feature layering --size 10G

5、列出映象

[[email protected] ceph_conf]# rbd list

6、檢視image的詳情

[[email protected]

7、調整image映象的大小為7GB（體驗而已，不推薦減小操作）

[[email protected] ceph_conf]# rbd resize --size 7G image --allow-shrink

8、調整image映象的大小為15GB

[[email protected] ceph_conf]# rbd resize --size 15G image 

[[email protected] ceph_conf]# rbd info image

客戶端使用RBD塊裝置

1、在Client上安裝客戶端軟體包

[[email protected]

2、把配置檔案和使用者金鑰檔案拷貝給客戶端

[[email protected] ceph_conf]# scp /etc/ceph/ceph.conf 192.168.4.10:/etc/ceph/

[[email protected] ceph_conf]# scp /etc/ceph/ceph.client.admin.keyring 192.168.4.10:/etc/ceph/

3、客戶端把CEPH的image映象作為本地磁碟使用

[[email protected] ~]# rbd list

[[email protected] ~]# rbd map image

[[email protected] ~]# lsblk   多出一個15GB的rbd0

4、使用RBD塊裝置

[[email protected] ~]# mkfs.xfs /dev/rbd0 

[[email protected] ~]# mount /dev/rbd0 /mnt/

[[email protected] ~]# df -h /mnt/

[[email protected] ~]# echo "hello world" >> /mnt/hi.txt

[[email protected] ~]# cat /mnt/hi.txt

5、檢視image映象的快照

[[email protected] ~]# rbd snap ls image

6、為image建立一個名為image-snap1的快照

[[email protected] ~]# rbd snap create image --snap image-snap1

[[email protected] ~]# rbd snap ls image

7、模擬誤刪除

[[email protected] ~]# rm  -f  /mnt/hi.txt 

8、還原快照，以還原誤刪除的檔案

（1）解除安裝映象

[[email protected] ~]# umount /mnt/

（2）使用image-snap1還原快照

[[email protected] ~]# rbd snap rollback image --snap image-snap1

（3）掛載映象，檢視是否已還原

[[email protected] ~]# mount /dev/rbd0 /mnt/

[[email protected] ~]# ls /mnt/

[[email protected] ~]# cat /mnt/hi.txt 

通過快照建立映象

1、設定image-snap1為保護狀態

[[email protected] ~]# rbd snap protect image --snap image-snap1

2、使用image的快照image-snap1克隆一個新的image-clone映象

[[email protected] ~]# rbd clone image --snap image-snap1 image-clone --image-feature layering

3、檢視新映象與父映象的關係

[[email protected] ~]# rbd info image-clone  

找到它的parent是rbd/[email protected]

4、合併映象，使得image-clone沒有父映象，它可以獨立使用

[[email protected] ~]# rbd flatten image-clone

[[email protected] ~]# rbd info image-clone  此時，它已沒有parent

刪除掛載

[[email protected] ~]# rbd showmapped  可以檢視到映象到本地的塊裝置對映

[[email protected] ~]# umount /mnt/

[[email protected] ~]# rbd unmap image   取消對映

[[email protected] ~]# rbd showmapped

[[email protected] ~]# lsblk   發現rbd0已經不存在了

刪除快照

[[email protected] ~]# rbd snap ls image  列出image的快照

[[email protected] ~]# rbd snap unprotect image --snap image-snap1

[[email protected] ~]# rbd snap rm image --snap image-snap1

刪除映象

[[email protected] ~]# rbd rm image

[[email protected] ~]# rbd list

安裝KVM虛擬機器，磁碟儲存在CEPH叢集上

1、將物理主機設定成為CEPH客戶端

[[email protected] ~]# yum install -y ceph-common

[[email protected] ~]# scp 192.168.4.1:/etc/ceph/ceph.conf /etc/ceph/

[[email protected] ~]# scp 192.168.4.1:/etc/ceph/ceph.client.admin.keyring /etc/ceph/

2、新建一個名為vm1-image的映象，作為KVM虛擬機器的磁碟

[[email protected] ~]# rbd create vm1-image --image-feature layering --size 10G

3、檢視映象資訊

[[email protected] ~]# rbd info vm1-image

[[email protected] ~]# qemu-img info rbd:rbd/vm1-image

4、在virt-manager圖形介面中，建立新的虛擬機器，名為rhel7-ceph1，按正常步驟建立即可。當虛擬機器建立完成後，將會啟動，此時，點選強制關機。

5、KVM虛擬機器在使用CEPH的時候，需要認證，我們可以建立一個secret（相當於通行證）

（1）在物理主機上建立一臨時檔案

[[email protected] ~]# vim /tmp/secret.xml

<secret ephemeral='no' private='no'>

    <usage type='ceph'>

        <name>client.admin secret</name>

    </usage>

</secret>

（2）利用臨時檔案生成secret通行證資訊

[[email protected] ~]# virsh secret-list  檢視secret

[[email protected] ~]# virsh secret-define --file /tmp/secret.xml 

[[email protected] ~]# virsh secret-list   已經生成secret

6、將kvm的secret和ceph的管理員使用者client.admin進行關聯

（1）檢視管理員的keyring

[[email protected] ~]# cat /etc/ceph/ceph.client.admin.keyring 

（2）關聯secret和keyring

[[email protected] ~]# virsh secret-set-value --secret f59c54be-d479-41a6-a09c-cf2f7ffc57cb --base64 AQDaDSpboImwIBAAzX800q+H0BCNq9xq2xQaJA==

7、匯出rhel7-ceph1的xml檔案

[[email protected] ~]# virsh dumpxml rhel7-ceph1 > /tmp/vm.xml

8、修改vm.xml

[[email protected] ~]# vim /tmp/vm.xml

找到以下內容：

    <disk type='file' device='disk'>

      <driver name='qemu' type='qcow2'/>

      <source file='/var/lib/libvirt/images/rhel7-ceph1.qcow2'/>

      <target dev='vda' bus='virtio'/>

      <address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>

</disk>

將其改為

    <disk type='network' device='disk'>

      <driver name='qemu' type='raw'/>

      <auth username='admin'>

          <secret type='ceph' uuid='f59c54be-d479-41a6-a09c-cf2f7ffc57cb'/>

      </auth>

      <source protocol='rbd' name='rbd/vm1-image'>

          <host name='192.168.4.1' port='6789'/>

      </source>

      <target dev='vda' bus='virtio'/>

      <address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>

    </disk>

9、在virt-manager中將rhel7-ceph1刪除

10、使用修改過的vm.xml生成虛擬機器

[[email protected] ~]# virsh  define  /tmp/vm.xml

Virt-manager中將會出現rhel7-ceph1虛擬機器

11、修改虛擬機器配置，把IDE CDROM1連線光碟檔案，然後在Boot Options中勾選“啟用引導選單”，把光碟作為第一啟動介質

使用CEPH FS為客戶端提供檔案系統（相當於NFS），注意，這種方式還不成熟，不建議用在生產環境下。

1、準備node4作為MDS（元資料伺服器）

2、在node4上安裝軟體包

[[email protected] ~]# yum install -y ceph-mds

3、在node1上配置node4的MDS

[[email protected] ceph_conf]# cd /root/ceph_conf/  進入配置檔案目錄

4、同步admin的keyring到node4

[[email protected] ceph_conf]# ceph-deploy admin node4

5、在NODE4上啟用mds服務（在node1上操作）

[[email protected] ceph_conf]# ceph-deploy mds create node4

6、建立儲存池。至少有兩個池，一個用於儲存資料，一個用於儲存元資料。

[[email protected] ceph_conf]# ceph osd pool create cephfs_data 128

[[email protected] ceph_conf]# ceph osd pool create cephfs_metadata 128

注：128是指，池中有128個PG（歸置組）

7、檢視MDS狀態

[[email protected] ceph_conf]# ceph mds stat

8、建立檔案系統

[[email protected] ceph_conf]# ceph fs new myfs1 cephfs_metadata cephfs_data

9、檢視檔案系統

[[email protected] ceph_conf]# ceph fs ls

10、客戶端掛載CEPH FS

[[email protected] ~]# mkdir /mnt/cephfs   ceph auth list  檢視admin的key

[[email protected] ~]# mount -t ceph 192.168.4.1:6789:/ /mnt/cephfs/ -o name=admin,secret=AQDaDSpboImwIBAAzX800q+H0BCNq9xq2xQaJA==

[[email protected] ~]# df -h /mnt/cephfs/

物件儲存

1、什麼是物件，參見：http://storage.ctocio.com.cn/281/12110781.shtml

2、新建虛擬機器，用於RGW

node5.tedu.cn 192.168.4.5 

需要node1可以免密登陸到node5。Node5也需要ceph的yum源。Node1可以通過名字訪問node5。

3、在node1遠端為node5安裝RGW

[[email protected] ceph_conf]# ceph-deploy install --rgw node5

4、同步keyring等檔案到node5

[[email protected] ceph_conf]# ceph-deploy admin node5

5、啟動RGW服務

[[email protected] ceph_conf]# ceph-deploy rgw create node5

[[email protected] ~]# systemctl status [email protected]\*

6、RGW內建了一個WEB伺服器civetweb。為了使用者訪問方便，將RGW埠改為80（預設是7480）

[[email protected] ~]# vim /etc/ceph/ceph.conf 追加以下內容

[client.rgw.node5]

host=node5

rgw_frontends="civetweb port=80"

[[email protected] ~]# systemctl restart [email protected]\*   重啟服務

7、客戶端驗證

[[email protected] ~]# curl http://192.168.4.5

RGW客戶端的使用

1、s3是亞馬遜提供的一個命令列客戶端

[[email protected] ~]# rpm -ihv s3cmd-2.0.1-1.el7.noarch.rpm 

2、建立用於RGW訪問的使用者

[[email protected] ~]# radosgw-admin user create --uid="testuser" --display-name="First User"  注意以下輸出的資訊

"keys": [

        {

            "user": "testuser",

            "access_key": "2OEWOIA7G6GZZ22UI0E4",

            "secret_key": "FrOzh6NQC1Ak3C4SXNSaLAEFPy5SyPu9MC02mtdm"

        }

    ],

3、在客戶端上配置s3

[[email protected] ~]# s3cmd --configure

Access Key:2OEWOIA7G6GZZ22UI0E4

Secret Key: FrOzh6NQC1Ak3C4SXNSaLAEFPy5SyPu9MC02mtdm

Default Region [US]:   注意直接回車，不要改

S3 Endpoint [s3.amazonaws.com]: 192.168.4.5

DNS-style bucket+hostname:port template for accessing a bucket [%(bucket)s.s3.amazonaws.com]:  %(bucket)s.192.168.4.5

When using secure HTTPS protocol all communication with Amazon S3

servers is protected from 3rd party eavesdropping. This method is

slower than plain HTTP, and can only be proxied with Python 2.7 or newer

Use HTTPS protocol [Yes]: No

Test access with supplied credentials? [Y/n] y

Save settings? [y/N] y

配置檔案最終儲存在了/root/.s3cfg

4、客戶端配置完成，就可以執行上傳、下載、刪除等操作了

[[email protected] ~]# s3cmd ls  檢視

[[email protected] ~]# s3cmd mb s3://my_bucket  建立一個容器（資料夾）

[[email protected] ~]# s3cmd put /var/log/messages s3://my_bucket  上傳檔案

[[email protected] ~]# s3cmd ls s3://my_bucket  檢視my_bucket中的內容

[[email protected] ~]# s3cmd get s3://my_bucket/messages /tmp/  下載

[[email protected] ~]# s3cmd del  s3://my_bucket/messages  刪除