linux 的 cgroups 還可以限制和監控程序的磁碟 io。這個功能通過 blkio 子系統實現。

blkio 子系統裡東西很多。不過大部分都是隻讀的狀態報告，可寫的引數就只有下面這幾個：

複製程式碼程式碼如下:
blkio.throttle.read_bps_device
blkio.throttle.read_iops_device
blkio.throttle.write_bps_device
blkio.throttle.write_iops_device
blkio.weight
blkio.weight_device

這些都是用來控制程序的磁碟 io 的。很明顯地分成兩類，其中帶“throttle”的，顧名思義就是節流閥，將流量限制在某個值下。而“weight”就是分配 io 的權重。

“throttle”的那四個引數看名字就知道是做什麼用的。拿 blkio.throttle.read_bps_device 來限制每秒能讀取的位元組數。先跑點 io 出來

複製程式碼程式碼如下:
dd if=/dev/sda of=/dev/null &
[1] 2750 
用 iotop 看看目前的 io

複製程式碼程式碼如下:
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
2750 be/4 root 66.76 M/s 0.00 B/s 0.00 % 68.53 % dd if=/dev/sda of=/dev/null
...

然後修改一下資源限制，把

程序加入控制組

複製程式碼程式碼如下:
echo '8:0 1048576' >/sys/fs/cgroup/blkio/foo/blkio.throttle.read_bps_device
echo 2750 >/sys/fs/cgroup/blkio/foo/tasks
這裡的 8:0 就是對應塊裝置的主裝置號和副裝置號。可以通過 ls -l 裝置檔名檢視。如

複製程式碼程式碼如下:
# ls -l /dev/sda
brw-rw----. 1 root disk 8, 0 Oct 24 11:27 /dev/sda
這裡的 8, 0 就是對應的裝置號。所以，cgroups 可以對不同的裝置做不同的限制。然後來看看效果

複製程式碼

程式碼如下:
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
2750 be/4 root 989.17 K/s 0.00 B/s 0.00 % 96.22 % dd if=/dev/sda of=/dev/null
...

可見，程序的每秒讀取立馬就降到了 1MB 左右。要解除限制，寫入如 “8:0 0” 到檔案中即可

不過需要注意的是，這種方式對小於取樣間隔裡產生的大量 io 是沒用的。比如，就算在 1s 內產生一個每秒寫入 100M 的峰值，也不會因此被限制掉。

再看看 blkio.weight 。blkio 的 throttle 和 weight 方式和 cpu 子系統的 quota 和 shares 有點像，都是一種是絕對限制，另一種是相對限制，並且在不繁忙的時候可以充分利用資源，權重值的範圍在 10 – 1000 之間。

測試權重方式要麻煩一點。因為不是絕對限制，所以會受到檔案系統快取的影響。如在虛擬機器中測試，要關閉虛機如我用的 VirtualBox 在宿主機上的快取。如要測試讀 io 的效果，先生成兩個幾個 G 的大檔案 /tmp/file_1，/tmp/file_2 ，可以用 dd 搞。然後設定兩個權重

複製程式碼程式碼如下:
# echo 500 >/sys/fs/cgroup/blkio/foo/blkio.weight
# echo 100 >/sys/fs/cgroup/blkio/bar/blkio.weight
測試前清空檔案系統快取，以免干擾測試結果

複製程式碼程式碼如下:
sync
echo 3 >/proc/sys/vm/drop_caches
在這兩個控制組中用 dd 產生 io 測試效果。

複製程式碼程式碼如下:
# cgexec -g "blkio:foo" dd if=/tmp/file_1 of=/dev/null &
[1] 1838
# cgexec -g "blkio:bar" dd if=/tmp/file_2 of=/dev/null &
[2] 1839

還是用 iotop 看看效果

複製程式碼程式碼如下:
TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND
1839 be/4 root 48.14 M/s 0.00 B/s 0.00 % 99.21 % dd if=/tmp/file_2 of=/dev/null
1838 be/4 root 223.59 M/s 0.00 B/s 0.00 % 16.44 % dd if=/tmp/file_1 of=/dev/null

引數說明

可設定的引數：

• blkio.weight
  說明：指定 cgroup 預設可用 IO 的比例（加權），值的範圍為 100 至 1000。該值可由具體裝置的 blkio.weight_device 引數覆蓋。
  示例：設定 cgroup lv0 的預設加權為 500： cgset -r blkio.weight=100 lv0
• blkio.weight_device
  說明：指定 cgroup 中指定裝置的可用 IO 比例（加權），範圍是 100 至 1000。該值的的格式為 major:minor weight ，其中 major 和 minor 參考文件 Linux 分配的裝置。
  示例：設定 cgroup lv0 對 /dev/sda 的加權為 500： cgset -r blkio.weight_device="8:0 500" lv0
• blkio.throttle.read_bps_device / blkio.throttle.write_bps_device
  說明：指定 cgroup 中某裝置每秒鐘讀/寫資料的位元組上限。其格式為 major:minor bytes_per_second。
  示例：設定 cgroup lv0 在 /dev/sdc 上每秒最多讀 10KiB 資料： cgset -r blkio.throttle.read_bps_device="8:32 10240" lv0
• blkio.throttle.read_iops_device / blkio.throttle.write_iops_device
  說明：指定 cgroup 中某裝置每秒鐘可以執行的讀/寫請求數上限。其格式為major:minor operations_per_second。
  示例：設定 cgroup lv0 在 /dev/sdc 上每秒最多執行 1000 次讀請求： cgset -r blkio.throttle.read_iops_device="8:32 1000" lv0

報告引數：

• blkio.time
  報告 cgroup 對具體裝置的 I/O 訪問時間。條目有三個欄位：major, minor 和time。time 的單位為毫秒(ms)
• blkio.sectors
  報告 cgroup 對具體裝置的扇區讀寫數。條目有三個欄位：major, minor 和sectors。
• blkio.io_service_bytes
  報告 cgroup 對具體裝置的讀寫位元組數。條目有四個欄位：major, minor, operation和 bytes。其中 operation 表示操作型別，包括 read, write, sync 和 async。
• blkio.io_serviced
  報告 cgroup 對具體裝置的 I/O 運算元。條目有四個欄位：major, minor, operation和 number。
• blkio.io_service_time
  報告 cgroup 對具體裝置的 I/O 操作請求傳送和請求完成之間的時間。條目有四個欄位：major, minor, operation 和 time，其中 time 的單位為納秒(ns)。
• blkio.io_wait_time
  報告 cgroup 對具體裝置的 I/O 操作在佇列中等待的時間。條目有四個欄位：major,minor, operation 和 time，其中 time 的單位為納秒(ns)。
• blkio.io_merged
  報告 cgroup 將 BIOS 請求合併到 I/O 操作請求的次數。條目有兩個欄位：number和 operation。
• blkio.io_queued
  報告 cgroup 為 I/O 操作排隊的請求次數。條目有兩個欄位：number 和 operation。
• blkio.throttle.io_service_bytes
  報告 cgroup 限流對具體裝置的讀寫位元組數。blkio.io_service_bytes 與blkio.throttle.io_service_bytes 的不同之處在於，CFQ 排程請求佇列時，前者不會更新。條目有四個欄位：major, minor, operation 和 bytes。
• blkio.throttle.io_serviced
  報告 cgroup 限流對具體裝置的讀寫運算元。條目有四個欄位：major, minor,operation 和 number。
• blkio.reset_stats
  向該檔案中寫入一個整數，可以重置該 cgroup 中的報告計數。

blkio子系統使用心得

1. 檢視一個裝置的 major 和 minor 可以使用：ls -l /dev/DEV
   例如，要檢視 /dev/dm-0 的 major 和 minor： ~]# ls -l /dev/dm-0
   brw-rw---- 1 root disk 253, 0 Dec 3 01:02 /dev/dm-0

   其中 253, 0 即為 /dev/dm-0 的 major, minor

2. blkio.throttle.* 的限制是針對整個 cgroup 組的，而不是針對組中單個程序的。
   例如，當設定 lv0 blkio.throttle.write_bps_device="253:0 1048576" 時，整個 lv0 組內所有程序向 /dev/dm-0 的寫入速率之和不能超過 1 MiB/秒。
3. 經測試，對某個程序的 blkio 限制有可能影響 Cgroup 之外的程序。復現方法：
   /dev/sdb + /dev/sdc 做 flashcache，設定 lv0blkio.throttle.write_bps_device="8:32 1048576" ，即限制 lv0 內的程序對 /dev/sdc 的寫入速率為 1MiB/秒，然後使用 cgexec -g blkio:lv0 dd if=/dev/zero of=/data0/testfile1 bs=10240 count=100000 啟動一個在 lv0 限制下的 dd 向 flashcache 寫檔案。dd 很快便完成，但使用 iostat 觀察，發現 /dev/sdc 的寫入受 cgroup 限制，只有 1MiB/秒。這時我們再直接執行一個 dd: dd if=/dev/zero of=/data0/testfile1 bs=10240 count=100000，再使用 iostat 檢視磁碟 IO 狀態，/dev/sdc 寫入速率仍然是 1MiB/秒，也就是說後面一個 dd 雖不在 cgroup lv0 限制之內，卻也受到了 lv0 限流的影響。
4. 程序對 pagecache 的讀寫操作不受 blkio.throttle.* 限制。