Ceph 儲存叢集配置之 POOL、PG 和 CRUSH 配置參考
當您建立池併為每個池設定歸置組 (PG) 的數量時,如果您沒有專門覆蓋預設值,Ceph 會使用預設值。我們建議覆蓋一些預設值。具體來說,我們建議設定池的副本大小並覆蓋預設的歸置組數量。您可以在執行池命令時專門設定這些值。您還可以通過在Ceph 配置檔案的[global]部分中新增新的來覆蓋預設值。
[global] # By default, Ceph makes 3 replicas of RADOS objects. If you want to maintain four # copies of an object the default value--a primary copy and three replica # copies--reset the default values as shown in 'osd_pool_default_size'. # If you want to allow Ceph to write a lesser number of copies in a degraded # state, set 'osd_pool_default_min_size' to a number less than the # 'osd_pool_default_size' value. osd_pool_default_size = 3 # Write an object 3 times. osd_pool_default_min_size = 2 # Allow writing two copies in a degraded state. # Ensure you have a realistic number of placement groups. We recommend # approximately 100 per OSD. E.g., total number of OSDs multiplied by 100 # divided by the number of replicas (i.e., osd pool default size). So for # 10 OSDs and osd pool default size = 4, we'd recommend approximately # (100 * 10) / 4 = 250. # always use the nearest power of 2 osd_pool_default_pg_num = 256 osd_pool_default_pgp_num = 256
mon_max_pool_pg_num
描述:每個池的最大歸置組數。
型別:整數
預設:65536
mon_pg_create_interval
描述:在同一個 Ceph OSD 守護程序中建立 PG 之間的秒數。
型別:Float
預設:30.0
mon_pg_stuck_threshold
描述:可以認為 PG 被卡住的秒數。
型別:32 位整數
預設:300
mon_pg_min_inactive
描述:如果 PG 的非活動時間mon_pg_stuck_threshold超過此設定,則提升HEALTH_ERR。非正數表示禁用,永遠不會進入 ERR。
型別:整數
預設:1
mon_pg_warn_min_per_osd
描述:如果每個OSD的平均 PG 數低於此數字,則上升HEALTH_WARN。非正數禁用此功能。
型別:整數
預設:30
mon_pg_warn_min_objects
描述:如果叢集中的 RADOS 物件總數低於此數字,則不發出警告
型別:整數
預設:1000
mon_pg_warn_min_pool_objects
描述:不要對 RADOS 物件計數低於此數字的池發出警告
型別:整數
預設:1000
mon_pg_check_down_all_threshold
描述:down OSD的百分比閾值,高於該閾值我們檢查所有 PG 是否過時。
型別:Float
預設:0.5
mon_pg_warn_max_object_skew
描述:如果任何池的每個 PG 的平均RADOS物件計數大於mon_pg_warn_max_object_skew所有池的每個 PG 的平均 RADOS 物件計數的倍數,則引發HEALTH_WARN。零或非正數禁用此功能。請注意,此選項適用於ceph-mgr守護程式。
型別:Float
預設:10
mon_delta_reset_interval
描述:在我們將 PG delta 重置為 0 之前處於不活動狀態的秒數。我們跟蹤每個池的已用空間的 delta,因此,例如,我們更容易瞭解恢復進度或快取層的效能。但是,如果某個池沒有報告任何活動,我們只需重置該池的增量歷史記錄。
型別:整數
預設:10
mon_osd_max_op_age
描述:在我們擔心之前的最大操作年齡(使其成為 2 的冪)。 如果請求被阻止的時間超過此限制,將引發HEALTH_WARN。
型別:Float
預設:32.0
osd_pg_bits
描述:每個 Ceph OSD 守護程序的歸置組位。
型別:32 位整數
預設:6
osd_pgp_bits
描述:PGP 的每個 Ceph OSD 守護程式的位數。
型別:32 位整數
預設:6
osd_crush_chooseleaf_type
描述:在 CRUSH 規則中chooseleaf使用的儲存桶型別。使用序號而不是名稱。
型別:32 位整數
預設:1. 通常是包含一個或多個 Ceph OSD 守護程序的主機。
# types
type 0 osd
type 1 host
type 2 chassis
type 3 rack
type 4 row
type 5 pdu
type 6 pod
type 7 room
type 8 datacenter
type 9 region
type 10 root
osd_crush_initial_weight
描述:新新增的 OSD 的初始 CRUSH 權重。
型別:Double
預設:the size of a newly added OSD in TB. 預設情況下,新新增的 OSD 的初始 CRUSH 權重設定為其裝置大小(以 TB 為單位)。有關詳細資訊,請參閱加權儲存桶專案。
osd_pool_default_crush_rule
描述:建立複製池時使用的預設 CRUSH 規則。
型別:8 位整數
預設:-1,這意味著“選擇具有最低數字 ID 的規則並使用它”。這是為了在沒有規則 0 的情況下建立池。
osd_pool_erasure_code_stripe_unit
描述:為糾刪碼池設定物件條帶塊的預設大小(以位元組為單位)。每個大小為 S 的物件將儲存為 N 個條帶,每個資料塊接收stripe unit位元組。每個N * stripe unit位元組條帶將單獨編碼/解碼。此選項可以被糾刪碼配置檔案中的stripe_unit設定覆蓋。
型別:無符號 32 位整數
預設:4096
osd_pool_default_size
描述:設定池中物件的副本數。預設值與 ceph osd pool set {pool-name} size {size} 相同 。
型別:32 位整數
預設:3
osd_pool_default_min_size
描述:設定池中物件的最小寫入副本數,以便向客戶端確認寫入操作。如果沒有達到最小值,Ceph 將不會向客戶端確認寫入,這可能會導致資料丟失。此設定可確保在degraded模式下執行時的副本數量最少。
型別:32 位整數
預設:0,這意味著沒有特別的最小值。如果0,最小值是。size - (size / 2)
osd_pool_default_pg_num
描述:池的預設歸置組數。pg_num預設值與mkpool相同。
型別:32 位整數
預設:32
osd_pool_default_pgp_num
描述:用於放置池的預設放置組數。pgp_num預設值與mkpool相同。PG 和 PGP 應該相等(目前)。
型別:32 位整數
預設:8
osd_pool_default_flags
描述:新池的預設標誌。
型別:32 位整數
預設:0
osd_max_pgls
描述:要列出的最大歸置組數。請求大量數字的客戶端可能會佔用 Ceph OSD 守護程序。
型別:無符號 64 位整數
預設:1024
筆記:預設應該沒問題。
osd_min_pg_log_entries
描述:修剪日誌檔案時要維護的最小歸置組日誌數。
型別:32 位整數無符號
預設:250
osd_max_pg_log_entries
描述:修剪日誌檔案時要維護的最大歸置組日誌數。
型別:32 位整數無符號
預設:10000
osd_default_data_pool_replay_window
描述:OSD 等待客戶端重放請求的時間(以秒為單位)。
型別:32 位整數
預設:45
osd_max_pg_per_osd_hard_ratio
描述:在 OSD 拒絕建立新的 PG 之前,叢集允許的每個 OSD 的 PG 數量的比率。如果 OSD 服務的 PG 數量超過 osd_max_pg_per_osd_hard_ratio * mon_max_pg_per_osd,則 OSD 停止建立新的 PG 。
型別:Float
預設:2
osd_recovery_priority
描述:工作佇列中的恢復優先順序。
型別:整數
預設:5
osd_recovery_op_priority
描述:如果池不覆蓋,則用於恢復操作的預設優先順序。
型別:整數
預設:3