前言

眾所周知，目前YARN所支援的資源型別主要有2兩大類:記憶體和CPU.但是其實對於作業系統層面，還有一個重要的資源是沒有被YARN考慮在內的，就是IO資源，這裡的IO資源你可以理解為比如說儲存空間的容量，但是它其實也可以有其它的含義。目前YARN這種不考慮IO資源狀況的排程方式，會造成有些container會消耗大量的IO資源，儘管可能他們只用了一點點的，記憶體和CPU資源。所以把IO資源也作為YARN排程的一個需求條件之一，是一個大有好處並且有其使用場景的功能點。

IO資源的概述

剛剛在上文已經提過了，這裡的IO資源並不僅僅是指磁碟容量空間，它還可以是一種別的能力，比如說iops（每秒io次數），頻寬等等。只是說，為了方便理解，我們暫且以磁碟空間作為一個節點IO資源的表示，磁碟空間越多，代表其所能處理的io次數也自然比較多。

YARN基於IO資源的排程和隔離

這裡我們主要關注2點:

• 一個是IO資源的排程，這個排程關注的點主要是防止io資源的過度分配，導致過載的問題。
• 還有一個是IO隔離的問題。類似於CPU使用的隔離，我們同樣要保證一定的IO資源使用隔離，防止不同使用者應用的相互干擾。

IO資源的排程

IO資源的排程在YARN層面，我們想讓IO也作為其中的一個判斷條件，就要把它也作為一個資源field，比如我們這裡用vdisk來表示需要的IO資源，vdisk越大，表示需要的IO資源越多，新的資源請求例項物件定義如下：

message ResourceProto {
  optional int32
 
 memory = 1;
  optional int32 virtual_cores = 2;
  optional int32 vdisks = 3;
}

就是說在ResourceManager在分配container的時候，還需要帶上vdisk資源的請求判斷，這裡每個節點的vdisk資源可以以2倍於實際磁碟數的標準來配置，邏輯上的含義即為IO處理能力的一種抽象。

IO資源的隔離

類似於Cgroup下的CPU隔離，我們在系統IO層面也可以做類似的程序間的隔離。這裡會用到Cgroup下的blkio子系統，它可以用來做這方面的控制隔離。

blkio子系統的IO隔離目前有2種方式：

• 第一種，基於權重值設定的CFQ（完全公平排程演算法）。每個程序會按照規定比例權重允許執行相應的IO運算元量。
• 第二種，IO上限值的操作控制，這裡不僅僅可以是IO的運算元，還可以是頻寬流量的限制。

這裡的IO隔離，主要指以上提到的2點。而對於具體採用哪種方式，我們可以通過在YARN內設定不同的隔離類來使用。

不過目前基於IO資源的排程方面，並沒有在社群完全被實現，不過這個功能的可用性和實施使用這塊還是有其實際的使用用途的，感興趣的同學可以前往YARN-2139.

參考資料