隨著包括儲存裝置在內伺服器的能力越來越高，特別是用上了PCIe儲存卡後，IOPS能力通常有10幾萬，馬上過剩。在這種情況下，一臺伺服器可以幹很多事情，在上面跑很多服務。那麼如何保證系統的服務質量是個很重要的事情了。

我們在下來的的專案中傾向於用cgroup來做資源的隔離和限制，原因是cgroup的開銷很小，而且很易用。cgroup 可以參考這裡

我們特別關心cgroup的blkio子模組，他有2種限制模式:
1. throttle，限制每個程序能使用的IOPS或者吞吐量。
2. weight，現在每個程序能使用的IOPS的能力的比例，必須通過CFQ排程器來實現。
文件和具體的引數可以看上面提到的cgroup文件。

要使用blkio的weight限制需要注意幾個事情：
1. 必須走directio, 如果buffered io因為最終寫IO的程序不是發起IO的程序，結果會有很大的偏差。
2. 排程器必須是CFQ。
3. 測試工具必須支援cgroup的相關限制。
4. 最好是隨機的IO。

新版本的支援cgroup的fio可以在這裡下載 git clone git://git.kernel.dk/fio.git， 更多參看這裡。

man fio下可以看看cgroup相關的文件:

cgroup=str
Add job to this control group. If it doesn’t exist, it will be created. The system must have a mounted cgroup blkio mount
point for this to work. If your system doesn’t have it mounted, you can do so with:

# mount -t cgroup -o blkio none /cgroup

cgroup_weight=int
Set the weight of the cgroup to this value. See the documentation that comes with the kernel, allowed values are in the
range of 100..1000.

cgroup_nodelete=bool
Normally fio will delete the cgroups it has created after the job completion. To override this behavior and to leave
cgroups around after the job completion, set cgroup_nodelete=1. This can be useful if one wants to inspect various cgroup
files after job completion. Default: false

這裡只是粗粗演示下如何用fio按照比例來限制程序使用的IO, 我們來構造下場景：

我們在建立2個1g大小的檔案，進行隨機的混合讀寫，一個給500的比例，一個給100的比例，總的比例是1000。那麼理論上可以看到A程序可以得到多於B程序5倍的IO能力。

操作如下：

$ cat test.fio
[global]
bs=4k
ioengine=libaio
iodepth=32
direct=1
rw=randrw
rwmixread=90
time_based
runtime=180
cgroup_nodelete=1

[test1]
filename=test1.dat
size=1G
cgroup_weight=500
cgroup=test1

[test2]
filename=test2.dat
size=1G
cgroup_weight=100
cgroup=test2

$ cat /sys/block/sda/queue/scheduler 
noop deadline [cfq] 

$ sudo fio test.fio
test1: (g=0): rw=randrw, bs=4K-4K/4K-4K, ioengine=libaio, iodepth=32
test2: (g=0): rw=randrw, bs=4K-4K/4K-4K, ioengine=libaio, iodepth=32
fio 2.0
Starting 2 processes
Jobs: 2 (f=2): [mm] [5.5% done] [618K/90K /s] [151 /22  iops] [eta 02m:51s]
...

我們從另外一個終端可以看到IO能力的分配情況：

$ sudo lssubsys -am
cpuset
net_cls
perf_event
cpu /sys/fs/cgroup/cpu
cpuacct /sys/fs/cgroup/cpuacct
memory /sys/fs/cgroup/memory
devices /sys/fs/cgroup/devices
freezer /sys/fs/cgroup/freezer
blkio /sys/fs/cgroup/blkio
$ pgrep -x fio
3837
3839
3840
$ cat /sys/fs/cgroup/blkio/test1/tasks
3839
$ cat /sys/fs/cgroup/blkio/test2/tasks
3840
$ sudo iotop

差不多是5:1的比例，符合預期。

我們在使用的時候會擔心kernel的穩定性，所以用fio能夠大壓力，長時間的來測試cgroup模組的可靠性，收集資料作為應用的參考。

祝玩得開心！

Post Footer automatically generated by wp-posturl plugin for wordpress.

No related posts.