如何用九條命令在一分鐘內檢查Linux伺服器效能?
一、uptime命令
-
$ uptime
-
23:51:26 up 21:31, 1 user, load average: 30.02, 26.43, 19.02
這個命令可以快速檢視機器的負載情況。在Linux系統中,這些資料表示等待CPU資源的程序和阻塞在不可中斷IO程序(程序狀態為D)的數量。這些資料可以讓我們對系統資源使用有一個巨集觀的瞭解。
命令的輸出分別表示1分鐘、5分鐘、15分鐘的平均負載情況。通過這三個資料,可以瞭解伺服器負載是在趨於緊張還是趨於緩解。如果1分鐘平均負載很高,而15分鐘平均負載很低,說明伺服器正在命令高負載情況,需要進一步排查CPU資源都消耗在了哪裡。反之,如果15分鐘平均負載很高,1分鐘平均負載較低,則有可能是CPU資源緊張時刻已經過去。
上面例子中的輸出,可以看見最近1分鐘的平均負載非常高,且遠高於最近15分鐘負載,因此我們需要繼續排查當前系統中有什麼程序消耗了大量的資源。可以通過下文將會介紹的vmstat、mpstat等命令進一步排查。
二、dmesg命令
-
$ dmesg | tail
-
[1880957.563150] perl invoked oom-killer: gfp_mask=0x280da, order=0, oom_score_adj=0
-
[...]
-
[1880957.563400] Out of memory: Kill process 18694 (perl) score 246 or sacrifice child
-
[1880957.563408] Killed process 18694 (perl) total-vm:1972392kB, anon-rss:1953348kB, file-rss:0kB
-
[2320864.954447] TCP: Possible SYN flooding on port 7001. Dropping
-
request. Check SNMP counters.
該命令會輸出系統日誌的最後10行。示例中的輸出,可以看見一次核心的oom kill和一次TCP丟包。這些日誌可以幫助排查效能問題。千萬不要忘了這一步。
三、vmstat命令
-
$ vmstat 1
-
procs ---------memory---------- ---swap-- -----io---- -system-- ------cpu-----
-
r b swpd free buff cache si so bi bo in cs us sy id wa st
-
34 0 0 200889792 73708 591828 0 0 0 5 6 10 96 1 3 0 0
-
32 0 0 200889920 73708 591860 0 0 0 592 13284 4282 98 1 1 0 0
-
32 0 0 200890112 73708 591860 0 0 0 0 9501 2154 99 1 0 0 0
-
32 0 0 200889568 73712 591856 0 0 0 48 11900 2459 99 0 0 0 0
-
32 0 0 200890208 73712 591860 0 0 0 0 15898 4840 98 1 1 0 0
vmstat(8) 命令,每行會輸出一些系統核心指標,這些指標可以讓我們更詳細的瞭解系統狀態。後面跟的引數1,表示每秒輸出一次統計資訊,表頭提示了每一列的含義,這幾介紹一些和效能調優相關的列:
-
r:等待在CPU資源的程序數。這個資料比平均負載更加能夠體現CPU負載情況,資料中不包含等待IO的程序。如果這個數值大於機器CPU核數,那麼機器的CPU資源已經飽和。
-
free:系統可用記憶體數(以千位元組為單位),如果剩餘記憶體不足,也會導致系統性能問題。下文介紹到的free命令,可以更詳細的瞭解系統記憶體的使用情況。
-
si,so:交換區寫入和讀取的數量。如果這個資料不為0,說明系統已經在使用交換區(swap),機器實體記憶體已經不足。
-
us, sy, id, wa, st:這些都代表了CPU時間的消耗,它們分別表示使用者時間(user)、系統(核心)時間(sys)、空閒時間(idle)、IO等待時間(wait)和被偷走的時間(stolen,一般被其他虛擬機器消耗)。
上述這些CPU時間,可以讓我們很快了解CPU是否出於繁忙狀態。一般情況下,如果使用者時間和系統時間相加非常大,CPU出於忙於執行指令。如果IO等待時間很長,那麼系統的瓶頸可能在磁碟IO。
示例命令的輸出可以看見,大量CPU時間消耗在使用者態,也就是使用者應用程式消耗了CPU時間。這不一定是效能問題,需要結合r佇列,一起分析。
四、mpstat命令
-
$ mpstat -P ALL 1
-
Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 _x86_64_ (32 CPU)
-
07:38:49 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
-
07:38:50 PM all 98.47 0.00 0.75 0.00 0.00 0.00 0.00 0.00 0.00 0.78
-
07:38:50 PM 0 96.04 0.00 2.97 0.00 0.00 0.00 0.00 0.00 0.00 0.99
-
07:38:50 PM 1 97.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 2.00
-
07:38:50 PM 2 98.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 1.00
-
07:38:50 PM 3 96.97 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 3.03
-
[...]
該命令可以顯示每個CPU的佔用情況,如果有一個CPU佔用率特別高,那麼有可能是一個單執行緒應用程式引起的。
五、pidstat命令
-
$ pidstat 1
-
Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 _x86_64_ (32 CPU)
-
07:41:02 PM UID PID %usr %system %guest %CPU CPU Command
-
07:41:03 PM 0 9 0.00 0.94 0.00 0.94 1 rcuos/0
-
07:41:03 PM 0 4214 5.66 5.66 0.00 11.32 15 mesos-slave
-
07:41:03 PM 0 4354 0.94 0.94 0.00 1.89 8 java
-
07:41:03 PM 0 6521 1596.23 1.89 0.00 1598.11 27 java
-
07:41:03 PM 0 6564 1571.70 7.55 0.00 1579.25 28 java
-
07:41:03 PM 60004 60154 0.94 4.72 0.00 5.66 9 pidstat
-
07:41:03 PM UID PID %usr %system %guest %CPU CPU Command
-
07:41:04 PM 0 4214 6.00 2.00 0.00 8.00 15 mesos-slave
-
07:41:04 PM 0 6521 1590.00 1.00 0.00 1591.00 27 java07:41:04 PM 0 6564 1573.00 10.00 0.00 1583.00 28 java
-
07:41:04 PM 108 6718 1.00 0.00 0.00 1.00 0 snmp-pass
-
07:41:04 PM 60004 60154 1.00 4.00 0.00 5.00 9 pidstat
pidstat命令輸出程序的CPU佔用率,該命令會持續輸出,並且不會覆蓋之前的資料,可以方便觀察系統動態。如上的輸出,可以看見兩個JAVA程序佔用了將近1600%的CPU時間,既消耗了大約16個CPU核心的運算資源。
六、iostat命令
-
$ iostat -xz 1
-
Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 _x86_64_ (32 CPU)
-
avg-cpu: %user %nice %system %iowait %steal %idle
-
73.96 0.00 3.73 0.03 0.06 22.21
-
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
-
xvda 0.00 0.23 0.21 0.18 4.52 2.08 34.37 0.00 9.98 13.80 5.42 2.44 0.09
-
xvdb 0.01 0.00 1.02 8.94 127.97 598.53 145.79 0.00 0.43 1.78 0.28 0.25 0.25
-
xvdc 0.01 0.00 1.02 8.86 127.79 595.94 146.50 0.00 0.45 1.82 0.30 0.27 0.26
-
dm-0 0.00 0.00 0.69 2.32 10.47 31.69 28.01 0.01 3.23 0.71 3.98 0.13 0.04
-
dm-1 0.00 0.00 0.00 0.94 0.01 3.78 8.00 0.33 345.84 0.04 346.81 0.01 0.00
-
dm-2 0.00 0.00 0.09 0.07 1.35 0.36 22.50 0.00 2.55 0.23 5.62 1.78 0.03
-
[...]
iostat命令主要用於檢視機器磁碟IO情況。該命令輸出的列,主要含義是:
-
r/s, w/s, rkB/s, wkB/s:分別表示每秒讀寫次數和每秒讀寫資料量(千位元組)。讀寫量過大,可能會引起效能問題。
-
await:IO操作的平均等待時間,單位是毫秒。這是應用程式在和磁碟互動時,需要消耗的時間,包括IO等待和實際操作的耗時。如果這個數值過大,可能是硬體裝置遇到了瓶頸或者出現故障。
-
avgqu-sz:向裝置發出的請求平均數量。如果這個數值大於1,可能是硬體裝置已經飽和(部分前端硬體裝置支援並行寫入)。
-
%util:裝置利用率。這個數值表示裝置的繁忙程度,經驗值是如果超過60,可能會影響IO效能(可以參照IO操作平均等待時間)。如果到達100%,說明硬體裝置已經飽和。
如果顯示的是邏輯裝置的資料,那麼裝置利用率不代表後端實際的硬體裝置已經飽和。值得注意的是,即使IO效能不理想,也不一定意味這應用程式效能會不好,可以利用諸如預讀取、寫快取等策略提升應用效能。
七、free命令
-
$ free -m
-
total used free shared buffers cached
-
Mem: 245998 24545 221453 83 59 541
-
-/+ buffers/cache: 23944 222053
-
Swap: 0 0 0
free命令可以檢視系統記憶體的使用情況,-m引數表示按照兆位元組展示。最後兩列分別表示用於IO快取的記憶體數,和用於檔案系統頁快取的記憶體數。需要注意的是,第二行-/+ buffers/cache,看上去快取佔用了大量記憶體空間。
這是Linux系統的記憶體使用策略,儘可能的利用記憶體,如果應用程式需要記憶體,這部分記憶體會立即被回收並分配給應用程式。因此,這部分記憶體一般也被當成是可用記憶體。
如果可用記憶體非常少,系統可能會動用交換區(如果配置了的話),這樣會增加IO開銷(可以在iostat命令中提現),降低系統性能。
八、sar命令
-
$ sar -n DEV 1
-
Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 _x86_64_ (32 CPU)
-
12:16:48 AM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil
-
12:16:49 AM eth0 18763.00 5032.00 20686.42 478.30 0.00 0.00 0.00 0.00
-
12:16:49 AM lo 14.00 14.00 1.36 1.36 0.00 0.00 0.00 0.00
-
12:16:49 AM docker0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
-
12:16:49 AM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s %ifutil
-
12:16:50 AM eth0 19763.00 5101.00 21999.10 482.56 0.00 0.00 0.00 0.00
-
12:16:50 AM lo 20.00 20.00 3.25 3.25 0.00 0.00 0.00 0.00
-
12:16:50 AM docker0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sar命令在這裡可以檢視網路裝置的吞吐率。在排查效能問題時,可以通過網路裝置的吞吐量,判斷網路裝置是否已經飽和。如示例輸出中,eth0網絡卡裝置,吞吐率大概在22 Mbytes/s,既176 Mbits/sec,沒有達到1Gbit/sec的硬體上限。
-
sar -n TCP,ETCP 1
-
$ sar -n TCP,ETCP 1
-
Linux 3.13.0-49-generic (titanclusters-xxxxx) 07/14/2015 _x86_64_ (32 CPU)
-
12:17:19 AM active/s passive/s iseg/s oseg/s
-
12:17:20 AM 1.00 0.00 10233.00 18846.00
-
12:17:19 AM atmptf/s estres/s retrans/s isegerr/s orsts/s
-
12:17:20 AM 0.00 0.00 0.00 0.00 0.00
-
12:17:20 AM active/s passive/s iseg/s oseg/s
-
12:17:21 AM 1.00 0.00 8359.00 6039.00
-
12:17:20 AM atmptf/s estres/s retrans/s isegerr/s orsts/s
-
12:17:21 AM 0.00 0.00 0.00 0.00 0.00
sar命令在這裡用於檢視TCP連線狀態,其中包括:
-
active/s:每秒本地發起的TCP連線數,既通過connect呼叫建立的TCP連線;
-
passive/s:每秒遠端發起的TCP連線數,即通過accept呼叫建立的TCP連線;
-
retrans/s:每秒TCP重傳數量;
TCP連線數可以用來判斷效能問題是否由於建立了過多的連線,進一步可以判斷是主動發起的連線,還是被動接受的連線。TCP重傳可能是因為網路環境惡劣,或者伺服器壓
九、top命令
-
$ top
-
top - 00:15:40 up 21:56, 1 user, load average: 31.09, 29.87, 29.92
-
Tasks: 871 total, 1 running, 868 sleeping, 0 stopped, 2 zombie
-
%Cpu(s): 96.8 us, 0.4 sy, 0.0 ni, 2.7 id, 0.1 wa, 0.0 hi, 0.0 si, 0.0 st
-
KiB Mem: 25190241+total, 24921688 used, 22698073+free, 60448 buffers
-
KiB Swap: 0 total, 0 used, 0 free. 554208 cached Mem
-
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
-
20248 root 20 0 0.227t 0.012t 18748 S 3090 5.2 29812:58 java
-
4213 root 20 0 2722544 64640 44232 S 23.5 0.0 233:35.37 mesos-slave
-
66128 titancl+ 20 0 24344 2332 1172 R 1.0 0.0 0:00.07 top
-
5235 root 20 0 38.227g 547004 49996 S 0.7 0.2 2:02.74 java
-
4299 root 20 0 20.015g 2.682g 16836 S 0.3 1.1 33:14.42 java 1 root 20 0 33620 2920 1496 S 0.0 0.0 0:03.82 init
-
2 root 20 0 0 0 0 S 0.0 0.0 0:00.02 kthreadd
-
3 root 20 0 0 0 0 S 0.0 0.0 0:05.35 ksoftirqd/0
-
5 root 0 -20 0 0 0 S 0.0 0.0 0:00.00 kworker/0:0H
-
6 root 20 0 0 0 0 S 0.0 0.0 0:06.94 kworker/u256:0
-
8 root 20 0 0 0 0 S 0.0 0.0 2:38.05 rcu_sched
top命令包含了前面好幾個命令的檢查的內容。比如系統負載情況(uptime)、系統記憶體使用情況(free)、系統CPU使用情況(vmstat)等。因此通過這個命令,可以相對全面的檢視系統負載的來源。同時,top命令支援排序,可以按照不同的列排序,方便查找出諸如記憶體佔用最多的程序、CPU佔用率最高的程序等。
但是,top命令相對於前面一些命令,輸出是一個瞬間值,如果不持續盯著,可能會錯過一些線索。這時可能需要暫停top命令重新整理,來記錄和比對資料。