CEPH 塊裝置

塊是一個位元組序列（例如，一個 512 位元組的資料塊）。基於塊的儲存介面是最常見的儲存資料方法，它們基於旋轉介質，像硬碟、 CD 、軟盤、甚至傳統的 9 磁軌磁帶。無處不在的塊裝置介面使虛擬塊裝置成為與 Ceph 這樣的海量儲存系統互動的理想之選。

Ceph 塊裝置是精簡配置的、大小可調且將資料條帶化儲存到叢集內的多個 OSD 。 Ceph 塊裝置利用 RADOS 的多種能力，如快照、複製和一致性。 Ceph 的 RADOS 塊裝置（ RBD ）使用核心模組或 librbd 庫與 OSD 互動。

注意:核心模組可使用 Linux 頁快取。對基於 librbd 的應用程式， Ceph 可提供 RBD 快取。

Ceph 塊裝置靠無限伸縮性提供了高效能，如向核心模組、或向 abbr:KVM (kernel virtual machines) （如 Qemu 、 OpenStack 和 CloudStack 等雲端計算系統通過 libvirt 和 Qemu 可與 Ceph 塊裝置整合）。

配置塊裝置（client節點）

注意作為client節點也需要安裝ceph，否則rbd會報錯sudo: rbd: command not found。

需要注意的是client節點需要是ceph叢集中的一員，需要有/etc/ceph/ceph.client.admin.keyring檔案，否則無法跟ceph叢集溝通，會報錯ceph monclient(hunting) error missing keyring cannot use cephx for authentication。

/etc/ceph/ceph.client.admin.keyring檔案是在執行以下命令時生產的

ceph-deploy new NodeA NodeB NodeC
ceph-deploy mon create-initial

或者

可以從叢集的其他節點（主節點的/etc/ceph目錄下）上將ceph.client.admin.keyring和ceph.conf檔案複製一份過來，放到/etc/ceph目錄下。
比如在client節點使用命令

scp ceph1:/etc/ceph/ceph.client.admin.keyring /etc/ceph
scp ceph1:/etc/ceph/ceph.conf
 
 /etc/ceph

如果沒有conf檔案會報錯
-1 did not load config file, using default settings

在執行rbd命令之前請先使用命令ceph -s確保叢集的健康情況如下:

[zzq@localhost ceph]$ ceph -s
    cluster 60cfd9c4-e6c1-4d0d-a2f4-5a0213326909
     health HEALTH_OK
     monmap e1: 3 mons at {ceph1=192.168.199.81:6789/0,ceph2=192.168.199.82:6789/0,ceph3=192.168.199.83:6789/0}
            election epoch 4, quorum 0,1,2 ceph1,ceph2,ceph3
     osdmap e29: 3 osds: 3 up, 3 in
      pgmap v88: 120 pgs, 1 pools, 0 bytes data, 0 objects
            100 MB used, 15226 MB / 15326 MB avail
                 120 active+clean
[zzq@localhost ceph]$ 

否則rbd可能遇到的問題卡住不動,因為叢集不健康io是被封鎖的，解決方式參考
遇到問題—ceph—ceph的rbd命令沒反應卡住

建立映像

命令格式如下

sudo rbd create foo --size 4096 [-m {mon-IP}][-k /path/to/ceph.client.admin.keyring]

foo是塊的名稱
size是塊大小
-m 是主機名或ip
-k是client節點的key檔案，可以使用命令檢視ls /etc/ceph

例如

sudo rbd create foo --size 4096 -m ceph1 -k /etc/ceph/ceph.client.admin.keyring

可以使用命令檢視塊的建立情況

sudo rbd list -k /etc/ceph/ceph.client.admin.keyring

正確輸出如下:

[zzq@localhost ceph]$ sudo rbd create foo --size 4096 -m ceph1 -k /etc/ceph/ceph.client.admin.keyring
[zzq@localhost ceph]$ sudo rbd list -k /etc/ceph/ceph.client.admin.keyring
foo
[zzq@localhost ceph]$ 

如果報錯

[[email protected] ~]$ sudo rbd create foo --size 4096 -m ceph1 -k /etc/ceph/ceph.client.admin.keyring
ERROR: modinfo: could not find module rbd
FATAL: Module rbd not found.
rbd: failed to load rbd kernel module (1)
rbd: sysfs write failed
rbd: map failed: (2) No such file or directory

原因
Since CEPH RBD module was first introduced with kernel 2.6.34 (and current RHEL/CentOS kernel is 2.6.32) – that means we need a newer kernel.

所以需要升級核心，使用命令如下:

sudo rpm --import http://elrepo.org/RPM-GPG-KEY-elrepo.org
sudo rpm -Uvh http://www.elrepo.org/elrepo-release-6-8.el6.elrepo.noarch.rpm
sudo yum --enablerepo=elrepo-kernel install kernel-ml

編輯etc/grub.conf然後重啟

使用命令

sudo vi /etc/grub.conf
sudo reboot

將default = 1 改為default = 0

將映像對映為塊裝置

將映像對映為塊裝置的命令
格式

sudo rbd map foo  --name client.admin [-m {mon-IP}][-k /path/to/ceph.client.admin.keyring]

例如

sudo rbd map foo  --name client.admin -m ceph1 -k /etc/ceph/ceph.client.admin.keyring

正確輸出如下:

[zzq@localhost ceph]$ sudo rbd map foo  --name client.admin -m ceph1 -k /etc/ceph/ceph.client.admin.keyring
/dev/rbd0
[zzq@localhost ceph]$ 

檢視塊對映map和建立檔案系統

rbd showmapped

輸出如下:

[zzq@localhost ceph]$ rbd showmapped
id pool image snap device    
0  rbd  foo   -    /dev/rbd0 

則使用/dev/rbd0建立檔案系統

sudo mkfs.ext4 -m0 /dev/rbd0

正確輸出如下:

[[email protected] ceph]$ sudo mkfs.ext4 -m0 /dev/rbd0
mke2fs 1.41.12 (17-May-2010)
Discarding device blocks: done                            
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=1024 blocks, Stripe width=1024 blocks
262144 inodes, 1048576 blocks
0 blocks (0.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=1073741824
32 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks: 
    32768, 98304, 163840, 229376, 294912, 819200, 884736

Writing inode tables: done                            
Creating journal (32768 blocks): done
Writing superblocks and filesystem accounting information: done

This filesystem will be automatically checked every 32 mounts or
180 days, whichever comes first.  Use tune2fs -c or -i to override.
[[email protected] ceph]$

掛載檔案系統並寫入檔案檢視

sudo mkdir /cephAll
sudo mount /dev/rbd0 /cephAll
cd /cephAll
sudo vi helloCeph.txt
ls
df -h

這樣我們就能在client中直接對ceph叢集儲存進行讀取寫入了。

輸出如下:

[zzq@localhost ceph]$ sudo mkdir /cephAll
[zzq@localhost ceph]$ sudo mount /dev/rbd0 /cephAll
[zzq@localhost ceph]$ cd /cephAll
[zzq@localhost cephAll]$ sudo vi helloCeph.txt
[zzq@localhost cephAll]$ ls
helloCeph.txt  lost+found
[zzq@localhost cephAll]$ df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/mapper/vg_localhost-lv_root
                       18G  2.2G   15G  13% /
tmpfs                 482M     0  482M   0% /dev/shm
/dev/sda1             477M   86M  362M  20% /boot
/dev/rbd0             3.9G  8.0M  3.8G   1% /cephAll
[zzq@localhost cephAll]$

其他塊命令

對映塊裝置

格式如下:

sudo rbd map {pool-name}/{image-name} --id {user-name}

例如:

sudo rbd map test/foo2 --id admin

如若啟用cephx認證，還需指定金鑰

sudo rbd map test/foo2 --id admin --keyring /etc/ceph/ceph.client.admin.keyring

檢視已對映裝置

rbd showmapped

取消塊裝置對映

格式如下:

sudo rbd unmap /dev/rbd/{poolname}/{imagename}

例如:

sudo rbd unmap /dev/rbd/test/foo2 

羅列塊裝置映像

sudo rbd ls

檢索映像資訊

格式

sudo rbd info {image-name}

例如

sudo rbd info foo

或者
格式

sudo rbd info {pool-name}/{image-name}

例如:

sudo rbd info test/foo

調整塊裝置映像大小

命令如下：

sudo rbd resize --size 512 test/foo --allow-shrink  #調小
sudo rbd resize --size 4096 test/foo        #調大

刪除塊裝置

sudo rbd rm test/foo