定製 CRUSH map：直接修改配置**

當我們使用ceph-deploy部署ceph時，它為我們的配置檔案生成一個預設的CRUSH map，預設的CRUSH map 在測試和沙箱環境下是夠用的；但在一個大型的生產環境中，最好為環境定製一個CRUSH map，步驟：

1、提取已有的CRUSH map ，使用-o引數，ceph將輸出一個經過編譯的CRUSH map 到您指定的檔案
    ` ceph osd getcrushmap -o crushmap.txt`
2、反編譯你的CRUSH map ，使用-d引數將反編譯CRUSH map 到通過-o 指定的檔案中
    `crushtool -d crushmap.txt -o crushmap-decompile`
3、使用編輯器編輯CRUSH map
    `vi crushmap-decompile`
4、重新編譯這個新的CRUSH map
    `crushtool -c crushmap-decompile -o crushmap-compiled`
5、將新的CRUSH map 應用到ceph 叢集中
    `ceph osd setcrushmap -i crushmap-compiled`
 

編輯注意事項：

1、我們用下面的語法宣告一個node bucket:

    [bucket-type] [bucket-name] {
        id [a unique negative numeric ID]
        weight [the relative capacity/capability of the item(s)]
        alg [the bucket type: uniform | list | tree | straw ]
        hash [the hash type: 0 by default]
        item [item-name] weight [weight]
    }

舉例：

    host node1 {
        id -1
        alg straw
        hash 0
        item osd.0 weight 1.00
        item osd.1 weight 1.00
    }

    host node2 {
        id -2
        alg straw
        hash 0
        item osd.2 weight 1.00
        item osd.3 weight 1.00
    }

    rack rack1 {
        id -3
        alg straw
        hash 0
        item node1 weight 2.00
        item node2 weight 2.00
    }

 1.2、在層級結構中，rack bucket 層級高於host bucket，host bucket 高於 osd。
 所以，rack bucket 包含node bucket，不包含任何osds，

 1.3、osd 的權重預設：1.00相關於1TB，0.50相關與500GB，3.00相關於3TB；
 資料傳輸速率較慢的可略低於此相關率，速率較快的可略高於此相關率。


2、rules：資源池佈置資料所依據的規則；預設情況下一個ruleset配所有的預設資源池；
大部分情況下，當你新建一個資源池時，不需要修改預設的rules，預設的ruleset是0


語法：

    rule <rulename> {

        ruleset <ruleset>
        type [ replicated | erasure ]
        min_size <min-size>
        max_size <max-size>
        step take <bucket-name>
        step [choose|chooseleaf] [firstn|indep] <N> <bucket-type>
        step emit
    }
舉例：

    # rules
    rule data {
        ruleset 0
        type replicated
        min_size 1
        max_size 10
        step take default
        step chooseleaf firstn 0 type host
        step emit
    }
    rule metadata {
        ruleset 1
        type replicated
        min_size 1
        max_size 10
        step take default
        step chooseleaf firstn 0 type host
        step emit
    }
    rule rbd {
        ruleset 2
        type replicated
        min_size 1
        max_size 10
        step take default
        step chooseleaf firstn 0 type host
        step emit
    }


3、新增一個buckets和rules

    #舉例新增2個特殊的rules，一個是服務SSD pool，一個是服務SAS pool

    3.1 為SSD pool新增一個bucket

        pool ssd {
            id -5       # do not change unnecessarily
            alg straw
            hash 0  # rjenkins1
            item osd.0 weight 1.000
            item osd.1 weight 1.000
        }

        新增與之對應的rule:

        rule ssd {
            ruleset 3
            type replicated
            min_size 1
            max_size 10
            step take ssd
            step choose firstn 0 type osd
            step emit
        }

    3.2 同理為SAS pool新增一個bucket

        pool sas {
            id -6       # do not change unnecessarily
            alg straw
            hash 0  # rjenkins1
            item osd.2 weight 1.000
            item osd.3 weight 1.000
        }

        對應的rule:

        rule sas {
            ruleset 4
            type replicated
            min_size 1
            max_size 10
            step take sas
            step choose firstn 0 type osd
            step emit
        }
 

設定資源池使用ssd rule

ceph osd pool set newpoolname crush_ruleset 3 #ruleset 後面的數字是在rule配置裡面ruleset對應的數字

crush map ：微調 使用命令**

新增、移動一個osd：

ceph osd crush set {id} {name} {weight} pool={pool-name} [{bucket-type}={bucket-name} ...]

更改osd的權重：

ceph osd crush reweight {name} {weight}

刪除一個osd：
ceph osd crush remove {name}

新增一個bucket:

ceph osd crush add-bucket {bucket-name} {bucket-type}

移動一個bucket：

ceph osd crush move {bucket-name} {bucket-type}={bucket-name}, [...]

刪除一個bucket：

ceph osd crush remove {bucket-name}

移動bucket例項：

1、執行命令`ceph osd tree `檢視當前的cluster 佈局：圖cluster1

2、在當前佈局中新增racks:
    ceph osd crush add-bucket rack01 rack
    ceph osd crush add-bucket rack02 rack
    ceph osd crush add-bucket rack03 rack

3、把每一個host移動到相應的rack下面：
    ceph osd crush move ceph-node1 rack=rack01
    ceph osd crush move ceph-node2 rack=rack02
    ceph osd crush move ceph-node3 rack=rack03

4、把所有rack移動到default root 下面：
    ceph osd crush move rack03 root=default
    ceph osd crush move rack02 root=default
    ceph osd crush move rack01 root=default

5、再次執行命令`ceph osd tree`檢視更新後的cluster 佈局：圖cluster2

參考文件：

官方文件：

書籍：learning ceph