Ceph學習----Ceph效能測試
阿新 • • 發佈:2019-02-04
CSDN 為我的同步更新部落格,部落格原地址:airheaven.cn
一、效能影響
先來分析下哪些因素可能影響儲存的效能,硬體部分就不說了,hdd和ssd出場的時候都會有官方的iops和throughput的指標,這裡也不是重點考慮因素,那麼影響儲存效能的在軟體層面都有哪些呢?
- IO大小:檔案系統一般io大小為4KB,也就是說,如果寫入大於4KB大小的檔案,那麼會被拆成多個4KB的塊進行儲存,如果小於4KB大小,那麼將被寫入一個4KB的塊,該值可以通過修改作業系統配置引數並重新編譯核心實現
- 佇列深度:在某一時間有N的io請求(包括佇列中的io請求和正在處理的io請求),其中N就是佇列深度。更大的佇列深度就意味著磁碟的空閒時間更短,就可以提高磁碟的利用率,但是更大的佇列深度也意味著更長的響應時間,佇列深度和響應時間需要權衡考慮
- 讀寫模式以及隨機/順序模式:讀的效能好於寫,順序的效能好於隨機
二、環境準備
ceph 叢集:
ceph1(1c1G):osd0(iscsi)
ceph2(1c1G):osd1(iscsi),osd2(iscsi)
ceph3(1c1G):mon,mds
ceph4(1c1G):osd3(iscsi)
這4臺機器均為vmware的虛擬機器,所以首先提供裸盤的效能測試指標
fio -ioengine=libaio -bs=4k -direct=1 -thread -rw=randwrite -size=5G -name="EBS 4K randwrite test" -iodepth=1 -runtime=60
iodepth | iops | ResponsTime | 95.00thRT | util | MBPS | type | iosize |
1 | 4306 | 121.16 | 161 | 92.39 | 17.227 | randw | 4k |
2 | 6180 | 186.95 | 245 | 100 | 24.722 | randw | 4k |
4 | 6336 | 488.18 | 684 | 98.12 | 25.344 | randw | 4k |
8 | 5928 | 1196.49 | 2256 | 96.76 | 23.715 | randw | 4k |
16 | 6460 | 2331.19 | 5152 | 97.73 | 25.84 | randw | 4k |
64 | 6496 | 9708.59 | 19000 | 97.96 | 25.986 | randw | 4k |
4 | 6336 | 488.18 | 684 | 98.12 | 25.344 | randw | 4k |
4 | 8732 | 348 | 494 | 97.68 | 34.931 | w | 4k |
4 | 12838 | 238.73 | 338 | 99.5 | 51.353 | randr | 4k |
4 | 8986 | 386.5 | 434 | 99.7 | 35.946 | r | 4k |
4 | 12838 | 238.73 | 338 | 99.5 | 51.353 | randr | 4k |
4 | 12575 | 244.32 | 338 | 99.94 | 100.602 | randr | 8k |
4 | 11625 | 270.07 | 366 | 99.66 | 186.01 | randr | 16k |
4 | 6851 | 520.29 | 636 | 99.47 | 438.515 | randr | 64k |
4 | 1598 | 2408.44 | 2576 | 99.36 | 409.216 | randr | 256k |
將ceph通過前文提高的方式(檔案系統為xfs)掛載到本地目錄,在本地目錄做測試,測試結果如下:
iodepth | iops | ResponsTime | 95.00thRT | util | MBPS | type | iosize |
1 | 324 | 3030 | 4128 | 100 | 1.2996 | randw | 4k |
2 | 429 | 4620 | 9000 | 99.97 | 1.7164 | randw | 4k |
4 | 463 | 8600 | 18000 | 100 | 1.8524 | randw | 4k |
8 | 465 | 17170 | 36000 | 99.99 | 1.8604 | randw | 4k |
16 | 488 | 32700 | 74000 | 99.97 | 1.9541 | randw | 4k |
64 | 502 | 127390 | 343000 | 100 | 2.0088 | randw | 4k |
4 | 463 | 8600 | 18000 | 100 | 1.8524 | randw | 4k |
4 | 550 | 7250 | 15000 | 99.99 | 2.2019 | w | 4k |
4 | 339 | 11756.33 | 39680 | 100 | 1.3582 | randr | 4k |
4 | 48503 | 80.3 | 18000 | 99.77 | 194.015 | r | 4k |
4 | 48503 | 80.3 | 18 | 99.77 | 194.015 | r | 4k |
4 | 29752 | 131.66 | 900 | 99.67 | 238.021 | r | 8k |
4 | 16610 | 236.39 | 956 | 99.56 | 265.772 | r | 16k |
4 | 4499 | 875.49 | 1448 | 99.57 | 287.96 | r | 64k |
4 | 1644 | 2380.67 | 4384 | 99.57 | 420.912 | r | 256k |
測試結果有很多和我預期不符合的地方,後續的文章將針對測試方法以及測試結果做分析,試圖說明其中的原因。