ceph中各osd的pg數量是近似均勻的，可以認為各pg下的資料容量大致相等，因此從原理上來說保證各osd pg相等，則各osd上的磁碟使用量也差不多相同，但是由於演算法做不到絕對均勻的原因某些osd上的pg數會相差比較大，這樣某些osd上的空間使用量就會比較多。建議是ceph部署完成，各pool也建立完成後，主動手工觀察，通過命令調整osd的權重來調整osd上的pg數

網上找的命令統計各osd上所有pg數： 

ceph pg dump | awk ' 

 /^pg_stat/ { col=1; while($col!="up") {col++}; col++ } 

 /^[0-9a-f]+\.[0-9a-f]+/ { match($0,/^[0-9a-f]+/); pool=substr($0, RSTART, RLENGTH); poollist[pool]=0; 

 up=$col; i=0; RSTART=0; RLENGTH=0; delete osds; while(match(up,/[0-9]+/)>0) { osds[++i]=substr(up,RSTART,RLENGTH); up = substr(up, RSTART+RLENGTH) } 

 for(i in osds) {array[osds[i],pool]++; osdlist[osds[i]];} 

} 

END { 

 printf("\n"); 

 printf("pool :\t"); for (i in poollist) printf("%s\t",i); printf("| SUM \n"); 

 for (i in poollist) printf("--------"); printf("----------------\n"); 

 for (i in osdlist) { printf("osd.%i\t", i); sum=0; 

 for (j in poollist) { printf("%i\t", array[i,j]); sum+=array[i,j]; poollist[j]+=array[i,j] }; printf("| %i\n",sum) } 

 for (i in poollist) printf("--------"); printf("----------------\n"); 

 printf("SUM :\t"); for (i in poollist) printf("%s\t",poollist[i]); printf("|\n"); 

}'

上面這個是獲取各osd所有pool的pg數，其實我們只關注default.rgw.buckets.data這個pool，其他pool資料很少，我們通過ceph df知道default.rgw.buckets.data的pool id是23，通過一個更簡單命令得到23號pool在各osd上的pg數排序：

ceph pg dump|grep '^23\.'|awk -F ' ' '{print $1, $15}'|awk -F "[ ]|[[]|[,]|[]]" '{print $3, $4}'|tr -s ' ' '\n'|sort|uniq -c|sort -n

輸出如下：

     95 1
     95 312
     96 252
     99 177
     99 265
     99 62
    101 121
    101 261

......

    132 102
    132 105
    132 179
    132 253
    132 256
    133 111
    133 115
    133 151
    133 203
    133 259
    133 271
    133 292
    134 257
    134 302
    134 61
    135 220

可以看到最少的osd.1上面只有95個pg，最多的osd.220上有135個pg，調整pg的命令：

ceph osd reweight-by-pg 105 default.rgw.buckets.data

注：105這個數字貌似不起作用，ceph內部會自己調整

由於每次手動觀察比較麻煩，可以通過計算每次調整後的個osd上pg數的方差來判斷效果，如果每次反差在減小，說明分佈相對更均勻一些：

ceph pg dump|grep '^23\.'|awk -F ' ' '{print $1, $15}'|awk -F "[ ]|[[]|[,]|[]]" '{print $3, $4}'|tr -s ' ' '\n'|sort|uniq -c|sort -r|awk '{printf("%s\n", $1)}'|awk '{x[NR]=$0;s+=$0;n++} END{a=s/n;for(i in x) {ss += (x[i]-a)^2} sd = sqrt(ss/n); print "SD = "sd}'
dumped all in format plain
SD = 8.71607
[[email protected] ~]#