這篇文章是《打造3百萬次請求/秒的高效能伺服器叢集》系列的第2部分，在這個部分中你可以使用任何一種 WEB 伺服器，不過我決定使用 Nginx，因其輕量級、高可靠及高效能的優點。

通常來說，一個優化良好的 Nginx Linux 伺服器可以達到 500,000 – 600,000 次/秒 的請求處理效能，然而我的 Nginx 伺服器可以穩定地達到 904,000 次/秒 的處理效能，並且我以此高負載測試超過 12 小時，伺服器工作穩定。

這裡需要特別說明的是，本文中所有列出來的配置都是在我的測試環境驗證的，而你需要根據你伺服器的情況進行配置：

從 EPEL 源安裝 Nginx：

Shell yum -y install nginx

1	yum-yinstall nginx

備份配置檔案，然後根據你的需要進行配置：

Shell cp /etc/nginx/nginx.conf /etc/nginx/nginx.conf.orig vim /etc/nginx/nginx.conf

12	cp/etc /nginx/nginx.conf/etc/nginx/nginx.conf.origvim/etc/nginx/nginx.conf

Shell # This number should be, at maximum, the number of CPU cores on your system. # (since nginx doesn't benefit from more than one worker per CPU.) # 這裡的數值不能超過 CPU 的總核數，因為在單個核上部署超過 1 個 Nginx 服務程序並不起到提高效能的作用。 worker_processes 24; # Number of file descriptors used for Nginx. This is set in the OS with 'ulimit -n 200000' # or using /etc/security/limits.conf # Nginx 最大可用檔案描述符數量，同時需要配置作業系統的 "ulimit -n 200000"，或者在 /etc/security/limits.conf 中配置。 worker_rlimit_nofile 200000; # only log critical errors # 只記錄 critical 級別的錯誤日誌 error_log /var/log/nginx/error.log crit # Determines how many clients will be served by each worker process. # (Max clients = worker_connections * worker_processes) # "Max clients" is also limited by the number of socket connections available on the system (~64k) # 配置單個 Nginx 單個程序可服務的客戶端數量，（最大值客戶端數 = 單程序連線數 * 程序數 ） # 最大客戶端數同時也受作業系統 socket 連線數的影響（最大 64K ） worker_connections 4000; # essential for linux, optmized to serve many clients with each thread # Linux 關鍵配置，允許單個執行緒處理多個客戶端請求。 use epoll; # Accept as many connections as possible, after nginx gets notification about a new connection. # May flood worker_connections, if that option is set too low. # 允許儘可能地處理更多的連線數，如果 worker_connections 配置太低，會產生大量的無效連線請求。 multi_accept on; # Caches information about open FDs, freqently accessed files. # Changing this setting, in my environment, brought performance up from 560k req/sec, to 904k req/sec. # I recommend using some varient of these options, though not the specific values listed below. # 快取高頻操作檔案的FDs（檔案描述符/檔案控制代碼） # 在我的裝置環境中，通過修改以下配置，效能從 560k 請求/秒 提升到 904k 請求/秒。 # 我建議你對以下配置嘗試不同的組合，而不是直接使用這幾個資料。 open_file_cache max=200000 inactive=20s; open_file_cache_valid 30s; open_file_cache_min_uses 2; open_file_cache_errors on; # Buffer log writes to speed up IO, or disable them altogether # 將日誌寫入高速 IO 儲存裝置，或者直接關閉日誌。 # access_log /var/log/nginx/access.log main buffer=16k; access_log off; # Sendfile copies data between one FD and other from within the kernel. # More efficient than read() + write(), since the requires transferring data to and from the user space. # 開啟 sendfile 選項，使用核心的 FD 檔案傳輸功能，這個比在使用者態用 read() + write() 的方式更加高效。 sendfile on; # Tcp_nopush causes nginx to attempt to send its HTTP response head in one packet, # instead of using partial frames. This is useful for prepending headers before calling sendfile, # or for throughput optimization. # 開啟 tcp_nopush 選項，Nginux 允許將 HTTP 應答首部與資料內容在同一個報文中發出。 # 這個選項使伺服器在 sendfile 時可以提前準備 HTTP 首部，能夠達到優化吞吐的效果。 tcp_nopush on; # don't buffer data-sends (disable Nagle algorithm). Good for sending frequent small bursts of data in real time. # 不要快取 data-sends （關閉 Nagle 演算法），這個能夠提高高頻傳送小資料報文的實時性。 tcp_nodelay on; # Timeout for keep-alive connections. Server will close connections after this time. # 配置連線 keep-alive 超時時間，伺服器將在超時之後關閉相應的連線。 keepalive_timeout 30; # Number of requests a client can make over the keep-alive connection. This is set high for testing. # 單個客戶端在 keep-alive 連線上可以傳送的請求數量，在測試環境中，需要配置個比較大的值。 keepalive_requests 100000; # allow the server to close the connection after a client stops responding. Frees up socket-associated memory. # 允許伺服器在客戶端停止傳送應答之後關閉連線，以便釋放連線相應的 socket 記憶體開銷。 reset_timedout_connection on; # send the client a "request timed out" if the body is not loaded by this time. Default 60. # 配置客戶端資料請求超時時間，預設是 60 秒。 client_body_timeout 10; # If the client stops reading data, free up the stale client connection after this much time. Default 60. # 客戶端資料讀超時配置，客戶端停止讀取資料，超時時間後斷開相應連線，預設是 60 秒。 send_timeout 2; # Compression. Reduces the amount of data that needs to be transferred over the network # 壓縮引數配置，減少在網路上所傳輸的資料量。 gzip on; gzip_min_length 10240; gzip_proxied expired no-cache no-store private auth; gzip_types text/plain text/css text/xml text/javascript application/x-javascript application/xml; gzip_disable "MSIE [1-6].";

1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586878889

# This number should be, at maximum, the number of CPU cores on your system.# (since nginx doesn't benefit from more than one worker per CPU.)# 這裡的數值不能超過 CPU 的總核數，因為在單個核上部署超過 1 個 Nginx 服務程序並不起到提高效能的作用。worker_processes24;# Number of file descriptors used for Nginx. This is set in the OS with 'ulimit -n 200000'# or using /etc/security/limits.conf# Nginx 最大可用檔案描述符數量，同時需要配置作業系統的 "ulimit -n 200000"，或者在 /etc/security/limits.conf 中配置。 worker_rlimit_nofile200000;# only log critical errors# 只記錄 critical 級別的錯誤日誌error_log/var/log/nginx/error.logcrit# Determines how many clients will be served by each worker process.# (Max clients = worker_connections * worker_processes)# "Max clients" is also limited by the number of socket connections available on the system (~64k)# 配置單個 Nginx 單個程序可服務的客戶端數量，（最大值客戶端數 = 單程序連線數 * 程序數 ）# 最大客戶端數同時也受作業系統 socket 連線數的影響（最大 64K ）worker_connections4000;# essential for linux, optmized to serve many clients with each thread# Linux 關鍵配置，允許單個執行緒處理多個客戶端請求。useepoll;# Accept as many connections as possible, after nginx gets notification about a new connection.# May flood worker_connections, if that option is set too low.# 允許儘可能地處理更多的連線數，如果 worker_connections 配置太低，會產生大量的無效連線請求。multi_accept on;# Caches information about open FDs, freqently accessed files.# Changing this setting, in my environment, brought performance up from 560k req/sec, to 904k req/sec.# I recommend using some varient of these options, though not the specific values listed below.# 快取高頻操作檔案的FDs（檔案描述符/檔案控制代碼）# 在我的裝置環境中，通過修改以下配置，效能從 560k 請求/秒 提升到 904k 請求/秒。# 我建議你對以下配置嘗試不同的組合，而不是直接使用這幾個資料。open_file_cache max=200000inactive=20s;open_file_cache_valid30s;open_file_cache_min_uses2;open_file_cache_errors on;# Buffer log writes to speed up IO, or disable them altogether# 將日誌寫入高速 IO 儲存裝置，或者直接關閉日誌。# access_log /var/log/nginx/access.log main buffer=16k;access_log off;# Sendfile copies data between one FD and other from within the kernel.# More efficient than read() + write(), since the requires transferring data to and from the user space.# 開啟 sendfile 選項，使用核心的 FD 檔案傳輸功能，這個比在使用者態用 read() + write() 的方式更加高效。sendfile on;# Tcp_nopush causes nginx to attempt to send its HTTP response head in one packet,# instead of using partial frames. This is useful for prepending headers before calling sendfile,# or for throughput optimization.# 開啟 tcp_nopush 選項，Nginux 允許將 HTTP 應答首部與資料內容在同一個報文中發出。# 這個選項使伺服器在 sendfile 時可以提前準備 HTTP 首部，能夠達到優化吞吐的效果。tcp_nopush on;# don't buffer data-sends (disable Nagle algorithm). Good for sending frequent small bursts of data in real time.# 不要快取 data-sends （關閉 Nagle 演算法），這個能夠提高高頻傳送小資料報文的實時性。tcp_nodelay on;# Timeout for keep-alive connections. Server will close connections after this time.# 配置連線 keep-alive 超時時間，伺服器將在超時之後關閉相應的連線。keepalive_timeout30;# Number of requests a client can make over the keep-alive connection. This is set high for testing.# 單個客戶端在 keep-alive 連線上可以傳送的請求數量，在測試環境中，需要配置個比較大的值。keepalive_requests100000;# allow the server to close the connection after a client stops responding. Frees up socket-associated memory.# 允許伺服器在客戶端停止傳送應答之後關閉連線，以便釋放連線相應的 socket 記憶體開銷。reset_timedout_connection on;# send the client a "request timed out" if the body is not loaded by this time. Default 60.# 配置客戶端資料請求超時時間，預設是 60 秒。client_body_timeout10;# If the client stops reading data, free up the stale client connection after this much time. Default 60.# 客戶端資料讀超時配置，客戶端停止讀取資料，超時時間後斷開相應連線，預設是 60 秒。send_timeout2;# Compression. Reduces the amount of data that needs to be transferred over the network# 壓縮引數配置，減少在網路上所傳輸的資料量。gzip on;gzip_min_length10240;gzip_proxied expired no-cache no-store private auth;gzip_types text/plain text/css text/xml text/javascript application/x-javascript application/xml;gzip_disable"MSIE [1-6].";

啟動 Nginx 並配置起機自動載入。

Shell service nginx start chkconfig nginx on

12	service nginx startchkconfig nginx on

配置 Tsung 並啟動測試，測試差不多 10 分鐘左右就能測試到伺服器的峰值能力，具體的時間與你的 Tsung 配置相關。

Shell [root@loadnode1 ~] vim ~/.tsung/tsung.xml <server host="YOURWEBSERVER" port="80" type="tcp"/>

12	[root@loadnode1~]vim~/.tsung/tsung.xml<server host="YOURWEBSERVER"port="80"type="tcp"/>

Shell tsung start

1	tsung start

你覺得測試結果已經夠了的情況下，通過 ctrl+c 退出，之後使用我們之前配置的別名命令 treport 檢視測試報告。

WEB 伺服器調優，第二部分：TCP 協議棧調優

這個部分不只是對 Ngiinx 適用，還可以在任何 WEB 伺服器上使用。通過對核心 TCP 配置的優化可以提高伺服器網路頻寬。

以下配置在我的 10-Gbase-T 伺服器上工作得非常完美，伺服器從預設配置下的 8Gbps 頻寬提升到 9.3Gbps。

當然，你的伺服器上的結論可能不盡相同。

下面的配置項，我建議每次只修訂其中一項，之後用網路效能測試工具 netperf、iperf 或是用我類似的測試指令碼 cluster-netbench.pl 對伺服器進行多次測試。

Shell yum -y install netperf iperf

1	yum-yinstall netperf iperf

Shell vim /etc/sysctl.conf

1	vim/etc/sysctl.conf

Shell # Increase system IP port limits to allow for more connections # 調高系統的 IP 以及埠資料限制，從可以接受更多的連線 net.ipv4.ip_local_port_range = 2000 65000 net.ipv4.tcp_window_scaling = 1 # number of packets to keep in backlog before the kernel starts dropping them # 設定協議棧可以快取的報文數閥值，超過閥值的報文將被核心丟棄 net.ipv4.tcp_max_syn_backlog = 3240000 # increase socket listen backlog # 調高 socket 偵聽數閥值 net.core.somaxconn = 3240000 net.ipv4.tcp_max_tw_buckets = 1440000 # Increase TCP buffer sizes # 調大 TCP 儲存大小 net.core.rmem_default = 8388608 net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem = 4096 65536 16777216 net.ipv4.tcp_congestion_control = cubic

1234567891011121314151617181920212223

# Increase system IP port limits to allow for more connections# 調高系統的 IP 以及埠資料限制，從可以接受更多的連線net.ipv4.ip_local_port_range=200065000net.ipv4.tcp_window_scaling=1# number of packets to keep in backlog before the kernel starts dropping them# 設定協議棧可以快取的報文數閥值，超過閥值的報文將被核心丟棄net.ipv4.tcp_max_syn_backlog=3240000# increase socket listen backlog# 調高 socket 偵聽數閥值net.core.somaxconn=3240000net.ipv4.tcp_max_tw_buckets=1440000# Increase TCP buffer sizes# 調大 TCP 儲存大小net.core.rmem_default=8388608net.core.rmem_max=16777216net.core.wmem_max=16777216net.ipv4.tcp_rmem=40968738016777216net.ipv4.tcp_wmem=40966553616777216net.ipv4.tcp_congestion_control=cubic

每次修訂配置之後都需要執行以下命令使之生效.

Shell sysctl -p /etc/sysctl.conf

1	sysctl-p/etc/sysctl.conf

別忘了在配置修訂之後務必要進行網路 benchmark 測試，這樣可以觀測到具體是哪個配置修訂的優化效果最明顯。通過這種有效測試方法可以為你節省大量時間。