NUMA技術是解決多CPU共同工作的技術方案，多CPU共同工作主要有3中架構：SMP：Symmetric Multi-Processor)，非統一儲存訪問結構(NUMA：Non-Uniform Memory Access)，以及海量並行處理結構(MPP：Massive Parallel Processing；
訪問儲存器可以分為兩種：統一儲存器訪問（UMA）和非統一儲存器訪問（NUMA）。
1.SMP技術：
    SMP多個CPU通過一個匯流排訪問儲存器，SMP系統有事也被稱為一致記憶體訪問（UMA）結構體系；在SMP系統上，所有的cpu對共享記憶體控制器擁有相同的訪問許可權。cpu之間的訪問這個共享資源的請求會導致擁塞。這個單獨的記憶體控制器能夠管理的記憶體大小也是有限的；
2.MPP模式：

    MPP提供了另外一種進行系統擴充套件的方式，它由多個SMP伺服器通過一定的節點網際網路絡進行連線，協同工作，完成相同的任務，從使用者的角度來看是一個伺服器系統。其基本特徵是由多個SMP伺服器通過節點網際網路絡連線而成，每個節點只訪問自己的本地資源(記憶體、儲存等)，是一種完全無共享(Share Nothing)結構，因而擴充套件能力最好，理論上其擴充套件無限制，目前的技術可實現512個節點互聯，數千個CPU。目前業界對節點網際網路絡暫無標準，如 NCR的Bynet，IBM的SPSwitch，它們都採用了不同的內部實現機制。但節點網際網路僅供MPP伺服器內部使用，對使用者而言是透明的。
3.NUMA技術
    NUMA模式是每個處理器有自己的儲存器，每個處理也可以訪問別的處理器的儲存器；與UMA相比，UMA提供了一個集中的記憶體池（因此在一定數量的處理器之後無法擴充套件），NUMA架構將記憶體劃分為相對於微處理器的本地和遠端記憶體。

4.KVM虛擬機器NUMA調優
NUMA架構每個處理器都可以訪問自己的儲存器和其他處理器的儲存器，訪問自己的儲存器要比訪問其他的儲存器快的多，速度相差10-100倍，所以NUMA調優的目的就是讓處理器儘量訪問自己的儲存器，以提高訪問速度。

#安裝 numactl
[root@node3 ~] yum install  numactl 
#安裝後出現以下三個命令
 

#numactl   用於控制 程序與共享儲存的 NUMA 技術機制
#numademo  
#numastat  提供了一個監測NUMA架構的工具


[root@node3 ~] # numactl --hardware    #共有2個node，各領取16個CPU和128G記憶體
available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 16 17 18 19 20 21 22 23 
node 0 size: 131037 MB
node 0 free: 3019 MB
node 1 cpus: 8 9 10 11 12 13 14 15 24 25 26 27 28 29 30 31
node 1 size: 131071 MB
node 1 free: 9799 MB
node distances:
node 0 1
 0: 10 20
 1: 20 10

[root@node3 ~] # numactl --cpubind=0 --membind=0 python param    #python在node0中執行

[root@node3 ~] # numactl --cpubind=1 --membind=1 java param     #java在node1中執行

[root@node3 ~] # numactl --interleave=all mongod -f /etc/mongod.conf    #分配所有的node供mongodb使用

[root@node3 ~]# numastat    #通過numastat命令可以檢視numa狀態
 node0 node1
 numa_hit 1775216830 6808979012    #使用本節點記憶體次數
 numa_miss 4091495 494235148       #計劃使用本節點記憶體而被排程到其他節點次數
 numa_foreign 494235148 4091495    #計劃使用其他節點記憶體而使用本地記憶體次數  
 interleave_hit 52909 53004        #交叉分配使用的記憶體中使用本節點的記憶體次數
 local_node 1775205816 6808927908  #在本節點執行的程式使用本節點記憶體次數  
 other_node 4102509 494286252      #在其他節點執行的程式使用本節點記憶體次數 


[root@node3 ~]# virsh list  --all
 Id    Name                           State
----------------------------------------------------
 17    centos7.0                      running
 20    centos7.2                      running

[root@node3 ~]# virsh numatune 20   #命令可以檢視或者修改虛擬機器的NUMA配置
numa_mode      : strict
numa_nodeset   : 

[root@node3 ~]# virsh vcpuinfo centos7.2 #檢視虛擬機器的VCPU排程資訊
VCPU:           0   
CPU:            1   #vcpu 0 被呼叫到cpu1上 
State:          running   #使用狀態
CPU time:       17.6s     #使用時間
CPU Affinity:   yyyy      可以使用的物理CPU內部的邏輯核 


[root@node3 ~]# virsh emulatorpin centos7.2 #檢視虛擬機器呼叫那些CPU
emulator: CPU Affinity
----------------------------------
       *: 0-7

[root@node3 ~]# virsh numatune centos7.2 #設定虛擬機器CPU在部分物理CPU之間排程
numa_mode      : strict
numa_nodeset   : 

[root@node3 ~]# virsh emulatorpin centos7.2 4-7 --live 

[root@node3 ~]# virsh emulatorpin centos7.2
emulator: CPU Affinity
----------------------------------
       *: 4-7

[root@node3 ~]# virsh  dumpxml 2 |grep vcpu -C2 #檢視配置看VCPU排程資訊
  <memory unit='KiB'>4188160</memory>
  <currentMemory unit='KiB'>2097152</currentMemory>
  <vcpu placement='static' current='2'>4</vcpu>
  <cputune>
    <emulatorpin cpuset='4-7'/>

CPU繫結技術和原理：
CPU繫結實際是通過Libvirt通過CGroup來實現的，CGroup直接去繫結KVM虛擬機器程序也可以。CGroup不僅可以繫結CPU，也可以繫結虛擬機器磁碟，網路的資源控制；

#強制VCPU和物理CPU一對一的繫結
[[email protected] ~]# virsh vcpupin centos7.2 0 4     #繫結VCPU 0和物理CPU 4 

[[email protected] ~]# virsh vcpupin centos7.2 1 5 

[[email protected] ~]# virsh vcpuinfo  centos7.2 
VCPU:           0
CPU:            4
State:          running
CPU time:       17.9s
CPU Affinity:   ----y---

VCPU:           1
CPU:            5
State:          running
CPU time:       10.6s
CPU Affinity:   -----y--

[[email protected] ~]# virsh  dumpxml 2 |grep vcpu -C2  #檢視配置檔案資訊
  <memory unit='KiB'>4188160</memory>
  <currentMemory unit='KiB'>2097152</currentMemory>
  <vcpu placement='static' current='2'>4</vcpu>
  <cputune>
    <vcpupin vcpu='0' cpuset='4'/>
    <vcpupin vcpu='1' cpuset='5'/>
    <vcpupin vcpu='2' cpuset='6'/>
    <emulatorpin cpuset='4-7'/>
  </cputune>