cpu 效能瓶頸 

計算機中，cpu是最重要的一個子系統，負責所有計算任務； 基於摩爾定律的發展，cpu是發展最快的一個硬體，所以瓶頸很少出現在cpu上； 我們線上環境的cpu都是多核的，並且基於SMP(symmetric multiprocessing)結構的。 通過觀察線上機器cpu使用率會發現，使用率很低很低，不到5%； 說明我們的資源浪費情況多麼嚴重啊；(但為什麼不能一臺機器多部署幾個應用呢，後邊我會解釋）; 我們線上的cpu一個核支援超級執行緒，也就是一個核上可以並行執行幾個執行緒） 機器CPU使用情況監控: 1、良好狀態指標                     CPU利用率：User Time <= 70%，System Time <= 35%，User Time + System Time <= 70%。                    上下文切換：    與CPU利用率相關聯，如果CPU利用率狀態良好，大量的上下文切換也是可以接受的。                    可執行佇列：   每個處理器的可執行佇列<=3個執行緒。 2、監控工具   vmstat $ vmstat 1 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 14 0 140 2904316 341912 3952308 0 0 0 460 1106 9593 36 64 1 0 0 17 0 140 2903492 341912 3951780 0 0 0 0 1037 9614 35 65 1 0 0 20 0 140 2902016 341912 3952000 0 0 0 0 1046 9739 35 64 1 0 0 17 0 140 2903904 341912 3951888 0 0 0 76 1044 9879 37 63 0 0 0 16 0 140 2904580 341912 3952108 0 0 0 0 1055 9808 34 65 1 0 0 重要引數： r， run queue， 可執行佇列的執行緒數，這些執行緒都是可執行狀態，只不過CPU暫時不可用；                             一般要求小於CPU*3的數量。        cat   /proc/stat         可以看到有幾個CPU。 b，被blocked的程序數，正在等待IO請求； in，interrupts，被處理過的中斷數 cs，context switch，系統上正在做上下文切換的數目 us，使用者佔用CPU的百分比 sys，核心和中斷佔用CPU的百分比 id，CPU完全空閒的百分比 上例可得： sy高us低，以及高頻度的上下文切換（cs），說明應用程式進行了大量的系統呼叫； 這臺4核機器的r應該在12個以內，現在r在14個執行緒以上，此時CPU負荷很重。 一般我們認為，如果是4核機器，r高於8是，應該就是負載很高了。 可調優效能引數: 1、 通過調整程序優先順序調整： nice 命令來調整程序優先級別；可調範圍（-20到 19） 如： renice 5 pid 2、 通過調整cpu的親和度來集中處理某一箇中斷型別:(比如網絡卡中斷)       將系統發出的中斷都繫結在一個cpu上，這樣其他cpu繼續執行自己正在執行的執行緒，不被中斷打擾，從而較少了執行緒上下文切換時間，增強效能；        注： cpu親和度的概念： 在多核cpu中，Linux作業系統搶佔式排程系統，按照cpu時間片/中斷/等不斷排程程序給cpu去執行的； 如果在一個時間片排程執行緒1在cpu1上執行，另外一個時間片排程執行緒1在cpu2上去執行，這樣會造成執行緒執行速度慢，效能降低。         為什麼呢？         我們知道SMP上多核都是共享L1 ,L2 CPU Cache的。並且各個核的記憶體空間都是不可共享的，一個執行緒如果多次時間片上在不同的cpu上執行，會造成cache的不斷失效和寫入，效能會降低；        而linux的程序排程有個親和度演算法可以將盡量將程序每次都排程到同一個cpu上處理；        linux排程時當然也有Loadbalance演算法保證程序排程的均勻負載的；        例如： echo 03 > /proc/irq/19/smp-affinity (將中斷型別為19的中斷繫結到第三個cpu上處理）

記憶體效能瓶頸

 

首先，linux的記憶體管理是聰明和智慧的；         linux通過（virtual memory manage)來管理記憶體的； 對於大多數應用，linux是不直接寫到硬碟上去的，而是先寫到 virtual memory manage 管理的檔案系統快取(也在記憶體中的)裡 ,方便應用的後續的讀請求；因為和磁碟的I/O操作是昂貴的；linux會根據一些演算法策略適當的時候同步到硬碟的；這就是為什麼我們執行linux一段時間後，發現可用記憶體那麼少的原因，多數被cache+buffer佔用咧； 所以我們提高效能的辦法就是減少寫到磁碟的次數，提高每次寫磁碟時的效率質量；     機器記憶體使用情況監控:         1、良好狀態指標            swap in （si） == 0，swap out （so） == 0            應用程式可用記憶體/系統實體記憶體 <= 70% 2、監控工具    vmstat $ vmstat  1 procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 0 3 252696 2432 268 7148 3604 2368 3608 2372 288 288 0 0 21 78 1 0 2 253484 2216 228 7104 5368 2976 5372 3036 930 519 0 0 0 100 0 0 1 259252 2616 128 6148 19784 18712 19784 18712 3821 1853 0 1 3 95 1 1 2 260008 2188 144 6824 11824 2584 12664 2584 1347 1174 14 0 0 86 0 2 1 262140 2964 128 5852 24912 17304 24952 17304 4737 2341 86 10 0 0 4 重要引數： swpd，    已使用的 SWAP 空間大小，KB 為單位； free，      可用的實體記憶體大小，KB 為單位； buff，       實體記憶體用來快取讀寫操作的buffer大小，KB 為單位； cache，   實體記憶體用來快取程序地址空間的 cache 大小，KB 為單位； si，          資料從 SWAP 讀取到 RAM（swap in）的大小，KB 為單位； so，         資料從 RAM 寫到 SWAP（swap out）的大小，KB 為單位。 上例可得： 物理可用記憶體 free 基本沒什麼顯著變化，swapd逐步增加，說明最小可用的記憶體始終保持在 256MB(實體記憶體大小) * 10％ = 2.56MB 左右，當髒頁達到10％的時候就開始大量使用swap。 這個10%來自" /proc/sys/vm/dirty_background_ratio "。 可調優效能引數: 1.、通過調節快取的髒資料同步到硬碟的策略：（髒資料表示沒有被當前的執行緒使用的資料）        例如： echo 10 > /proc/sys/vm/dirty_background_ratio  (當髒資料佔據實體記憶體10%時，觸發pdflush同步到硬碟）： 小心調節，會大幅度的影響效能；        echo 2000 > /proc/sys/vm/dirty_expire_centisecs            (當髒資料在實體記憶體的逗留時間超過2000ms時被同步到硬碟）； 2、通過調節swap引數，來優化linux虛擬記憶體管理：基於程式的區域性性原理，linux通過虛擬記憶體機制來實現併發執行程序，linux發現物理記憶體不夠用時，會根據LRU演算法將一部分記憶體swap out到硬碟；當執行被換出的那個執行緒時，在swap in 到記憶體裡；       例如： echo 10 > /proc/sys/vm/swappiness (值為0表示儘量都用實體記憶體，值為100表示積極的使用swap分割槽；）這個引數很重要；小心調節； 一般為60;                              ##在緊急處理線上問題時，可以緊急使用一下。        更多的引數: linux效能調分析及調優—cpu 效能瓶頸調優可調效能引數 、記憶體效能瓶頸可調效能引數、磁碟I/O可調效能引數、網路可調效能引數 - 無影 - 激情、專注、堅持、思考 一、作業系統設定swap的目的        程式執行的一個必要條件就是足夠的記憶體，而記憶體往往是系統裡面比較緊張的一種資源。為了滿足更多程式的要求，作業系統虛擬了一部分記憶體地址，並將之對映到swap上。對於程式來說，它只知道作業系統給自己分配了記憶體地址，但並不清楚這些記憶體地址到底對映到實體記憶體還是swap。實體記憶體和swap在功能上是一樣的，只是因為物理儲存元件的不同（記憶體和磁碟），效能上有很大的差別。作業系統會根據程式使用記憶體的特點進行換入和換出，儘可能地把實體記憶體留給最需要它的程式。但是這種排程是按照預先設定的某種規則的，並不能完全符合程式的需要。        一些特殊的程式（比如MySQL）希望自己的資料永遠寄存在實體記憶體裡，以便提供更高的效能。於是作業系統就設定了幾個api，以便為呼叫者提供“特殊服務”。 二、Linux提供的幾個api 1、mlockall()和munlockall()         這一對函式，可以讓呼叫者的地址空間常駐實體記憶體，也可以在需要的時候將此特權取消。mlockall()的flag位可以是MCL_CURRENT和MCL_FUTURE的任意組合，分別代表了“保持已分配的地址空間常駐實體記憶體”和“保持未來分配的地址空間常駐實體記憶體”。對於Linux來說，這對函式是非常霸道的，只有root使用者才有許可權呼叫。 2、shmget()和shmat()         這一對函式，可以向作業系統申請使用大頁記憶體（Large Page）。大頁記憶體的特點是預分配和永駐實體記憶體，因為使用了共享記憶體段的方式，page table有可能會比傳統的小頁分配方式更小。        對於多程序共享記憶體的程式（比如Oracle），大頁記憶體能夠節省很多page table開銷；        而對於mysql來說，效能和資源開銷都沒有顯著變化，好處就在於減少了記憶體地址被對映到swap上的可能。至於為什麼是減少，而不是完全避免，之後再講解。 3、O_DIRECT和posix_memalign()         以上兩個方法都不會減少記憶體的使用量，呼叫者的本意是獲取更高的系統特權，而不是節約系統資源。        O_DIRECT是一種更加理想化的方式，通過避免double buffer，節省了檔案系統cache的開銷，最終減少swap的使用率。O_DIRECT是Linux  IO排程相關的標誌，在open函式裡面呼叫。通過O_DIRECT標誌開啟的檔案，讀寫都不會用到檔案系統的cache。         傳統的資料庫（oracle、MySQL）基本都有O_DIRECT相關的開關，在提高效能的同時，也減少了記憶體的使用。至於posix_memalign()，是用來申請對齊的記憶體地址的。只有用posix_memalign()申請的記憶體地址，才能用來讀寫O_DIRECT模式下的檔案描述符。 4、madvise()和fadvise()         這對函式也是比較溫和的，可以將呼叫者對資料訪問模式的預期傳遞給Linux，以期得到更好的效能。 我們比較感興趣的是MADV_DONTNEED和FADV_NOREUSE這兩個flag。前者會建議Linux釋放指定的記憶體區域，而後者會建議檔案系統釋放指定檔案所佔用的cache。 當mysql出現記憶體導致的效能瓶頸時，可以: 1、/proc/sys/vm/swappiness的內容改成0（臨時），/etc/sysctl.conf上新增vm.swappiness=0（永久）        這個引數決定了Linux是傾向於使用swap，還是傾向於釋放檔案系統cache。在記憶體緊張的情況下，數值越低越傾向於釋放檔案系統cache。當然，這個引數只能減少使用swap的概率，並不能避免Linux使用swap。 2、修改MySQL的配置引數innodb_flush_method，開啟O_DIRECT模式。       這種情況下，InnoDB的buffer pool會直接繞過檔案系統cache來訪問磁碟，但是redo log依舊會使用檔案系統cache。值得注意的是，Redo log是覆寫模式的，即使使用了檔案系統的cache，也不會佔用太多。 3、新增MySQL的配置引數memlock       這個引數會強迫mysqld程序的地址空間一直被鎖定在實體記憶體上，對於os來說是非常霸道的一個要求。必須要用root帳號來啟動MySQL才能生效。 4、還有一個比較複雜的方法，指定MySQL使用大頁記憶體（Large Page）。Linux上的大頁記憶體是不會被換出實體記憶體的，和memlock有異曲同工之妙。具體的配置方法可以參考：http://harrison-fisk.blogspot.com/2009/01/enabling-innodb-large-pages-on-linux.html

 磁碟I/O可調效能引數 

        linux的子系統VFS(virtural file system)虛擬檔案系統；從高層將各種檔案系統，以及底層磁碟特性隱藏，對程式設計師提供：read,write,delete等檔案操作；這就是之所以我們可以在linux上mount多種不同格式的檔案系統的，而window確不行； 當然基於：虛擬檔案系統，檔案系統，檔案系統驅動程式，硬體特性方面，都能找到效能瓶頸； 1、選擇適合應用的檔案系統; 2.、調整程序I/O請求的優先順序，分三種級別：1代表 real time ; 2代表best-effort; 3代表idle ; 如：ionice -c1 -p 1113(給程序1113的I/O優先順序設定為最高優先順序） 3、根據應用型別，適當調整page size 和block size; 4、升級驅動程式；  第四節 ：網路可調效能引數        對於我們web應用來說，網路效能調整如此重要，linux的網路支援是無與倫比的；是作為網路伺服器的首先；對於web服務來說：除了應用的響應速度外，linux網路管理子系統，網絡卡，頻寬都可能成為效能瓶頸；        網路引數可以在/proc/sys/net/ipv4/   下面的檔案中進行配置。 可以檢視和設定的引數: 1、檢視網絡卡設定是否全雙工傳輸的： echtool eth0 2.、設定MTU（最大傳輸單元），在頻寬G以上的時候，要考慮將MTU增大，提高傳輸效能；        如： ifconfig eth0 mtu 9000 up        如果資料包的長度大於mtu的長度時，很容易出現丟包情況。 3.、增加網路資料快取；傳輸資料時linux是將包先放入快取，填滿快取後即傳送出去；讀操作類似；        sysctl -w net.ipv4.tcp_rmem="4096 87380 8388608" ：設定tcp讀快取：最小快取，初始化時，最大快取        sysctl -w net.ipv4.tcp_wmem="4096 87380 8388608" ：設定tcp寫快取：最小快取，初始化時，最大快取        由於是先將資料放入快取再發送，或收取收據，那麼當記憶體緊張或記憶體不夠用時，網路丟包就可能出現。 4、禁用window_scaling,並且直接設定window_size;(就像我們經常設定jvm的引數：xms = xmx一樣        sysctl -w net.ipv4.tcp_window_scaling=0 5、設定TCP連線可重用性： 對於TIME_OUT狀態的TCP連線可用於下一個TCP重用，這樣減少了三次握手和建立時間，非常提高效能，尤其對於web server；       如： 開啟可重用tcp功能： sysctl -w net.ipv4.tcp_tw_reuse=1 sysctl -w net.ipv4.tcp_tw_recyle=1 6、禁用掉沒必要的tcp/ip協議功能：比如icmp;broadcast包的接收； 7、linux對於keeplive的tcp連線有一個預設的過期時間；可以減小這個時間，讓沒用的連線釋放掉，畢竟tcp連線數是有限的嘛；      如： sysctl -w net.ipv4.tcp_keepalive_time=1800 （設定過期時間，1800s) 8、設定最大tcp正在連線狀態（還沒ESTABLISHED)佇列長度；避免由於太多的tcp連線過來，導致伺服器掛掉；比如DoS攻擊      如：sysctl -w net.ipv4.tcp_max_syn_backlog=4096 9、 繫結tcp型別的中斷到一個cpu上；（讓cpu去親和這個型別中斷，避免頻繁的中斷，影響執行緒排程效能）        總結： 我們在效能優化一個應用時，首要的是設定優化要達到的目標，然後尋找瓶頸，調整引數，達到優化目的；但是尋找瓶頸時可能是最累的，要從大範圍，通過很多用例，很多測試報告，不斷的縮小範圍，最終確定瓶頸點；以上這些引數只是個認識，系統性能優化中可能用到，但並不是放之四海而皆準的； 有的引數要邊測試，邊調整的；