1、調優前景

一般說yarn的調優，就是指Container的調優，而Container是執行在NM節點上的

在NM的節點，一般還可能執行著DN程序，DN+NM兩程序不可佔據節點的全部記憶體，一般在75%~85%之間比較合適

對於一臺64G記憶體的機器，生產上可使得DN+NM=54G，DN=4G,NM=50G

2、可以調的引數

一般沒說生產調則在生產上不要動即可

A、記憶體調優：

yarn.nodemanager.resource.memory-mb     NM佔用機器的記憶體大小，單位MB   可設定為50*1024 （生產調）

yarn.scheduler.minimum-allocation-mb        Container包含的最小記憶體,單位MB  可設定1024（生產調

yarn.scheduler.maximum-allocation-mb        Container包含的最大記憶體,單位MB  可設定8192（生產調）

隨著任務的執行，計算越來越大，任務消耗的資源越來越多，Container包含的記憶體也應該逐漸增加，在CDH版本的hadoop中有一個引數可以設定每次記憶體加大的額度，當記憶體達到yarn.scheduler.maximum-allocation-mb引數設定的最大記憶體還不夠時，任務會被yarn殺掉

yarn.scheduler.increment-allocation-mb     Container記憶體不夠用時一次性加多少記憶體 單位MB 可設定2048（僅CDH

yarn.nodemanager.pmem-check-enabled    容器是否會執行實體記憶體限制     預設為True 

執行實體記憶體限制時，當Container達到最大實體記憶體限制時，改引數為True時,會殺死任務

yarn.nodemanager.vmem-check-enabled     容器是否會執行虛擬記憶體限制    預設為True

執行物理虛擬限制時，當Container達到最大物理虛擬限制時，該引數為True時,會殺死任務

yarn.nodemanager.vmem-pmem-ratio  使用虛擬記憶體和實體記憶體的比值     預設為2.1

vm.swappiness

是否使用虛擬記憶體的場景：

a.當任務處於高度計算時，不允許慢，允許掛掉後通過各種形式重啟任務  這時候將使用虛擬記憶體的積極性調低 vm.swappiness 的值可設定較大

b.當任務在一般計算時，可以慢，不允許掛，這時候將使用虛擬記憶體的積極性調高 vm.swappiness 的值可設定較小

生產上一般是允許慢不允許掛，swappiness一般設定為10

虛擬記憶體在linux中的設定情況如下：

swappiness=0的時候表示最大限度使用實體記憶體，然後才是 swap空間，swappiness＝100的時候表示積極的使用swap分割槽，並且把記憶體上的資料及時的搬運到swap空間裡面。linux的基本預設設定為60，具體如下：
    
[[email protected] ~]# cat /proc/sys/vm/swappiness
60
也就是說，你的記憶體在使用到100-60=40%的時候，就開始會使用虛擬記憶體。

臨時調整（重啟失效）：
[[email protected] ~]# sysctl vm.swappiness=10
vm.swappiness = 10
[[email protected] ~]# cat /proc/sys/vm/swappiness
10

永久調整，先完成臨時調整，再執行以下操作：
[[email protected] ~]# cat /etc/sysctl.conf
# Controls the maximum number of shared memory segments, in pages
在“kernel.shmall = 4294967296”後加上
“vm.swappiness=10”

[[email protected] ~]# sysctl -p

B、CPU調優

在yarn中，一個物理core等價於兩個vcore，這個在CDH版本的hadoop中有一個引數控制（不要輕易調）

yarn.nodemanager.resource.cpu-vcores 

可為Container分配的容器數量，這個引數在RM Scheduler為Container分配資源時可以用到。如果它的值被設定為-1，

且引數yarn.nodemanager.resource.detect-hardware-capabilities的值為true,則不限制yarn使用CPU的數量，也可以設定為8

yarn.nodemanager.resource.detect-hardware-capabilities 是否自動檢測節點的CPU和記憶體 預設為false