numa把一臺計算機分成多個節點(node),每個節點內部擁有多個CPU，節點內部使用共有的記憶體控制器，節點之間是通過互聯模組進行連線和資訊互動。因此節點的所有記憶體對於本節點所有的CPU都是等同的，對於其他節點中的所有CPU都不同。因此每個CPU可以訪問整個系統記憶體，但是訪問本地節點的記憶體速度最快(不經過互聯模組),訪問非本地節點的記憶體速度較慢(需要經過互聯模組)，即CPU訪問記憶體的速度與節點的距離有關，該距離成為Node Distance。

檢視當前numa的節點情況：
numactl --hardware

節點之間的距離(Node Distance)指從節點1上訪問節點0上的記憶體需要付出的代價的一種表現形式。
Numa記憶體分配策略有一下四種:
預設default:總是在本地節點分配(當前程序執行的節點上)。
繫結bind:強制分配到指定節點上。
交叉interleavel:在所有節點或者指定節點上交叉分配記憶體。
優先preferred:在指定節點上分配，失敗則在其他節點上分配。
檢視當前系統numa策略：
numactl --show
因為numa預設的記憶體分配策略是優先在程序所在CPU的本地記憶體中分配，會導致CPU節點之間記憶體分配不均衡，
當某個CPU節點記憶體不足時，會導致swap產生，而不是從遠端節點分配記憶體，這就是swap insanity現象。
MySQL伺服器為什麼需要關閉numa?
MySQL是單程序多執行緒架構資料庫，當numa採用預設記憶體分配策略時，MySQL程序會被並且僅僅會被分配到numa的一個節點上去。
假設這個節點的本地記憶體為10GB,而MySQL配置20GB記憶體，超出節點本地記憶體部分(20GB-10GB)Linux會使用swap而不是使用其他節點的實體記憶體。
在這種情況下，能觀察到雖然系統總的可用記憶體還未用完，但是MySQL程序已經開始在使用swap了。
如果單機只執行一個MySQL例項，可以選擇關閉numa，關閉nuam有兩種方法：
1.硬體層，在BIOS中設定關閉;
2.OS核心，啟動時設定numa=off。
修改/etc/grub.conf檔案，在kernel那行追加numa=off;
[

[email protected] ~]#  vim /boot/grub/grub.conf
title Red Hat Enterprise Linux (2.6.32-358.el6.x86_64)
        root (hd0,0)
        kernel /vmlinuz-2.6.32-358.el6.x86_64 ro root=UUID=cb7d8bdc-28a5-4dbd-b04a-3ad9ee3e6bba rd_NO_LUKS rd_NO_LVM LANG=en_US.UTF-8 rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=auto  KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet numa=off
儲存後重啟伺服器，再次檢查numa只剩下一個節點就成功了：
[

[email protected] ~]# numactl --hardware
available: 1 nodes (0)
node 0 cpus: 0
node 0 size: 2047 MB
node 0 free: 1514 MB
node distances:
node   0
  0:  10

IO排程
在不同場景下選擇不同的IO排程器：
在完全隨機訪問環境下，由於CFQ可能會造成小IO的相應延時增加，所以應設定為deadline,這樣更穩定。
對於SSD裝置，採用NOOP或者deadline也可以獲取比預設排程器更好的效能。
檢視當前系統支援的IO排程演算法：
[[email protected] Desktop]# dmesg|grep -i scheduler
io scheduler noop registered
io scheduler anticipatory registered
io scheduler deadline registered
io scheduler cfq registered (default)
檢視當前裝置(/dev/sda)使用的IO排程演算法：
[[email protected] Desktop]# cat /sys/block/sda/queue/scheduler
noop anticipatory deadline [cfq]

修當前塊裝置(/dev/sda)使用的IO排程演算法，修改IO排程演算法後直接生效：
echo "deadline">> /sys/block/sda/queue/scheduler

永久修改IO排程演算法，可以通過修改核心引導引數，增加elevator=排程演算法：
vim /boot/grub/menu.lst
kernel /boot/                                root=LABEL=/ elevator=deadline

[[email protected] Desktop]# vim /etc/grub.conf

title Red Hat Enterprise Linux (2.6.32-358.el6.x86_64)
        root (hd0,0)
        kernel /vmlinuz-2.6.32-358.el6.x86_64 ro root=UUID=28d9f713-f49d-49ae-9e63-401986d11ab2 rd_NO_LUKS rd_NO_LVM LANG=en_US.UTF-8 rd_NO_MD SYSFONT=latarcyrheb-sun16 crashkernel=auto  KEYBOARDTYPE=pc KEYTABLE=us rd_NO_DM rhgb quiet numa=off elevator=deadline

交換分割槽

swappiness是Linux的一個核心引數，使用者控制Linux實體記憶體進行swap頁交換的相對權重，儘量減少系統的頁快取被從記憶體中清除的情況。取值範圍是0~100，vm.swappiness的值越低，Linux核心會盡量不進行swap交換頁的操作，vm.swappiness的值越高，Linux會越多的使用swap空間。Linux系統預設值是60，當系統需要記憶體時，有60%的概率使用swap。對於大多數桌面系統，設定為100可以提高系統的整體效能；對於資料庫應用伺服器，設定為0，可以提高實體記憶體的使用率，進而提高資料庫服務的響應效能。

[[email protected] ~]# vim /etc/sysctl.conf
vm.swappiness=0

sysctl -p 生效
[[email protected] ~]# sysctl -a|grep swap
vm.swappiness = 0