nignx的TCP和UDP排程（nginx反向代理）
1 案例1：Nginx反向代理
1.1 問題
使用Nginx實現Web反向代理功能，實現如下功能：
後端Web伺服器兩臺，可以使用httpd實現
Nginx採用輪詢的方式呼叫後端Web伺服器
兩臺Web伺服器的權重要求設定為不同的值
最大失敗次數為1，失敗超時時間為30秒
1.2 方案
使用4臺RHEL7虛擬機器，其中一臺作為Nginx代理伺服器，該伺服器需要配置兩塊網絡卡，IP地址分別為192.168.4.5和192.168.2.5，兩臺Web伺服器IP地址分別為192.168.2.100和192.168.2.200。客戶端測試主機IP地址為192.168.4.100。如圖-1所示。
圖-1
1.3 步驟
實現此案例需要按照如下步驟進行。
步驟一：部署實施後端Web伺服器
1）部署後端Web1伺服器
後端Web伺服器可以簡單使用yum方式安裝httpd實現Web服務，為了可以看出後端伺服器的不同，可以將兩臺後端伺服器的首頁文件內容設定為不同的內容。
[[email protected] ~]# yum -y install httpd
[[email protected] ~]# echo "192.168.2.100" > /var/www/html/index.html
[[email protected] ~]# systemctl restart httpd
[[email protected] 2）部署後端Web2伺服器
[[email protected] ~]# yum -y install httpd
[[email protected] ~]# echo "192.168.2.200" > /var/www/html/index.html
[[email protected] ~]# systemctl restart httpd
[[email protected] ~]# firewall-cmd --set-default-zone=trusted
[ 步驟二：配置Nginx伺服器，新增伺服器池，實現反向代理功能
1）修改/usr/local/nginx/conf/nginx.conf配置檔案
[[email protected] ~]# vim /usr/local/nginx/conf/nginx.conf
.. ..
http {
.. ..
#使用upstream定義後端伺服器叢集，叢集名稱任意(如webserver)
#使用server定義叢集中的具體伺服器和埠
upstream webserver {
server 192.168.2.100:80;
server 192.168.2.200:80;
}
.. ..
server {
listen 80;
server_name localhost;
location / {
#通過proxy_pass將使用者的請求轉發給webserver叢集
proxy_pass http://webserver;
}
}2）重啟nginx服務
[[email protected] ~]# /usr/local/nginx/sbin/nginx -s reload
#請先確保nginx是啟動狀態才可以執行命令成功，否則報錯,報錯資訊如下：
#[error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)
3）客戶端使用瀏覽器訪問代理伺服器測試輪詢效果
[[email protected] ~]# curl http://192.168.4.5 //使用該命令多次訪問檢視效果
[[email protected] ~]# curl http://192.168.4.5 //使用該命令多次訪問檢視效果
步驟二：配置upstream伺服器叢集池屬性
1）設定失敗次數，超時時間，權重
weight可以設定後臺伺服器的權重，max_fails可以設定後臺伺服器的失敗次數，fail_timeout可以設定後臺伺服器的失敗超時時間。
[[email protected] ~]# vim /usr/local/nginx/conf/nginx.conf
.. ..
http {
.. ..
upstream webserver {
server 192.168.2.100 weight=1 max_fails=1 fail_timeout=30;
server 192.168.2.200 weight=2 max_fails=2 fail_timeout=30;
server 192.168.2.101 down;
}
#weight設定伺服器權重值，預設值為1
#max_fails設定最大失敗次數
#fail_timeout設定失敗超時時間，單位為秒
#down標記伺服器已關機，不參與叢集排程
.. ..
server {
listen 80;
server_name localhost;
location / {
proxy_pass http://webserver;
}
}2）重啟nginx服務
[[email protected] ~]# /usr/local/nginx/sbin/nginx -s reload
#請先確保nginx是啟動狀態才可以執行命令成功，否則報錯,報錯資訊如下：
#[error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)3）關閉一臺後端伺服器（如web1）
[[email protected] ~]# systemctl stop httpd
4）客戶端使用瀏覽器訪問代理伺服器測試輪詢效果
[[email protected] ~]# curl http://192.168.4.5 //使用該命令多次訪問檢視效果
5）再次啟動後端伺服器的httpd（如web1）
[[email protected] ~]# systemctl start httpd
6）客戶端再次使用瀏覽器訪問代理伺服器測試輪詢效果
[[email protected] ~]# curl http://192.168.4.5 //使用該命令多次訪問檢視效果
步驟三：配置upstream伺服器叢集的排程演算法
1）設定相同客戶端訪問相同Web伺服器
[[email protected] ~]# vim /usr/local/nginx/conf/nginx.conf
.. ..
http {
.. ..
upstream webserver {
#通過ip_hash設定排程規則為：相同客戶端訪問相同伺服器
ip_hash;
server 192.168.2.100 weight=1 max_fails=2 fail_timeout=10;
server 192.168.2.200 weight=2 max_fails=2 fail_timeout=10;
}
.. ..
server {
listen 80;
server_name www.tarena.com;
location / {
proxy_pass http://webserver;
}
}2）重啟nginx服務
[[email protected] ~]# /usr/local/nginx/sbin/nginx -s reload
#請先確保nginx是啟動狀態才可以執行命令成功，否則報錯,報錯資訊如下：
#[error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)3）客戶端使用瀏覽器訪問代理伺服器測試輪詢效果
[[email protected] ~]# curl http://192.168.4.5 //使用該命令多次訪問檢視效果
2 案例2：Nginx的TCP/UDP排程器
2.1 問題
使用Nginx實現TCP/UDP排程器功能，實現如下功能：
後端SSH伺服器兩臺
Nginx編譯安裝時需要使用--with-stream，開啟ngx_stream_core_module模組
Nginx採用輪詢的方式呼叫後端SSH伺服器
2.2 方案
使用4臺RHEL7虛擬機器，其中一臺作為Nginx代理伺服器，該伺服器需要配置兩塊網絡卡，IP地址分別為192.168.4.5和192.168.2.5，兩臺SSH伺服器IP地址分別為192.168.2.100和192.168.2.200。客戶端測試主機IP地址為192.168.4.100。如圖-2所示。
圖-2
2.3 步驟
實現此案例需要按照如下步驟進行。
步驟一：部署支援4層TCP/UDP代理的Nginx伺服器
1）部署nginx伺服器
編譯安裝必須要使用--with-stream引數開啟4層代理模組。
[[email protected] ~]# yum –y install gcc pcre-devel openssl-devel //安裝依賴包
[[email protected] ~]# tar -xf nginx-1.12.2.tar.gz
[[email protected] ~]# cd nginx-1.12.2
[[email protected] nginx-1.12.2]# ./configure \
> --with-http_ssl_module //開啟SSL加密功能
> --with-stream //開啟4層反向代理功能
[[email protected] nginx-1.12.2]# make && make install //編譯並安裝步驟二：配置Nginx伺服器，新增伺服器池，實現TCP/UDP反向代理功能
1）修改/usr/local/nginx/conf/nginx.conf配置檔案
[[email protected] ~]# vim /usr/local/nginx/conf/nginx.conf
stream {
upstream backend {
server 192.168.2.100:22; //後端SSH伺服器的IP和埠
server 192.168.2.200:22;
}
server {
listen 12345; //Nginx監聽的埠
proxy_connect_timeout 1s;
proxy_timeout 3s;
proxy_pass backend;
}
}
http {
.. ..
}2）重啟nginx服務
[[email protected] ~]# /usr/local/nginx/sbin/nginx -s reload
#請先確保nginx是啟動狀態才可以執行命令成功，否則報錯,報錯資訊如下：
#[error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)3）客戶端使用訪問代理伺服器測試輪詢效果
[[email protected] ~]# ssh 192.168.4.5 -p 12345 //使用該命令多次訪問檢視效果
3 案例3：Nginx常見問題處理
3.1 問題
本案例要求對Nginx伺服器進行適當優化，解決如下問題，以提升伺服器的處理效能：
如果客戶端訪問伺服器提示“Too many open files”如何解決
如何解決客戶端訪問頭部資訊過長的問題
如何讓客戶端瀏覽器快取資料
如何自定義返回給客戶端的404錯誤頁面
如何檢視伺服器狀態資訊
開啟gzip壓縮功能，提高資料傳輸效率
開啟檔案快取功能
然後客戶機訪問此Web伺服器驗證效果：
使用ab壓力測試軟體測試併發量
編寫測試指令碼生成長頭部資訊的訪問請求
客戶端訪問不存在的頁面，測試404錯誤頁面是否重定向
3.2 步驟
實現此案例需要按照如下步驟進行。
步驟一：構建Nginx伺服器
1）原始碼安裝Nginx軟體
[[email protected] ~]# yum -y install gcc pcre-devel openssl-devel //安裝常見依賴包
[[email protected] ~]# tar -xf nginx-1.12.2.tar.gz
[[email protected] ~]# cd nginx-1.12.2
[[email protected] nginx-1.12.2]# ./configure \
> --with-http_ssl_module //開啟SSL加密功能
> --with-stream //開啟TCP/UDP代理模組
[[email protected] nginx-1.12.2]# make && make install //編譯並安裝2）啟用Nginx服務並檢視監聽埠狀態
ss命令可以檢視系統中啟動的埠資訊，該命令常用選項如下：
-a顯示所有埠的資訊
-n以數字格式顯示埠號
-t顯示TCP連線的埠
-u顯示UDP連線的埠
-l顯示服務正在監聽的埠資訊，如httpd啟動後，會一直監聽80埠
-p顯示監聽埠的服務名稱是什麼（也就是程式名稱）
注意：在RHEL7系統中可以使用ss命令替代netstat命令，功能一樣，選項一樣。
[[email protected] ~]# /usr/local/nginx/sbin/nginx
[[email protected] ~]# netstat -anptu | grep nginx
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 10441/nginx
[[email protected] ~]# ss -anptu | grep nginx步驟二：優化Nginx併發量
1）優化前使用ab高併發測試
[[email protected] ~]# ab -n 2000 -c 2000 http://192.168.4.5/
Benchmarking 192.168.4.5 (be patient)
socket: Too many open files (24) //提示開啟檔案數量過多2）修改Nginx配置檔案，增加併發量
[[email protected] ~]# vim /usr/local/nginx/conf/nginx.conf
.. ..
worker_processes 2; //與CPU核心數量一致
events {
worker_connections 65535; //每個worker最大併發連線數
use epoll;
}
.. ..
[[email protected] ~]# nginx -s reload3）優化Linux核心引數（最大檔案數量）
[[email protected] ~]# ulimit -a //檢視所有屬性值
[[email protected] ~]# ulimit -Hn 100000 //設定硬限制（臨時規則）
[[email protected] ~]# ulimit -Sn 100000 //設定軟限制（臨時規則）
[[email protected] ~]# vim /etc/security/limits.conf
.. ..
* soft nofile 100000
* hard nofile 100000#該配置檔案分4列，分別如下：
#使用者或組 硬限制或軟限制 需要限制的專案 限制的值
4）優化後測試伺服器併發量（因為客戶端沒調核心引數，所以在proxy測試）
[[email protected] ~]# ab -n 2000 -c 2000 http://192.168.4.5/
步驟三：優化Nginx資料包頭快取
1）優化前，使用指令碼測試長頭部請求是否能獲得響應
[[email protected] ~]# cat lnmp_soft/buffer.sh
#!/bin/bash
URL=http://192.168.4.5/index.html?
for i in {1..5000}
do
URL=${URL}v$i=$i
done
curl $URL //經過5000次迴圈後，生成一個長的URL位址列
[[email protected] ~]# ./buffer.sh
.. ..
<center><h1>414 Request-URI Too Large</h1></center> //提示頭部資訊過大2）修改Nginx配置檔案，增加資料包頭部快取大小
[[email protected] ~]# vim /usr/local/nginx/conf/nginx.conf
.. ..
http {
client_header_buffer_size 1k; //預設請求包頭資訊的快取
large_client_header_buffers 4 4k; //大請求包頭部資訊的快取個數與容量
.. ..
}
[[email protected] ~]# nginx -s reload3）優化後，使用指令碼測試長頭部請求是否能獲得響應
[[email protected] ~]#cat cat buffer.sh
#!/bin/bash
URL=http://192.168.4.5/index.html?
for i in {1..5000}
do
URL=${URL}v$i=$i
done
curl $URL
[[email protected] ~]# ./buffer.sh步驟四：瀏覽器本地快取靜態資料
1）使用Firefox瀏覽器檢視快取
以Firefox瀏覽器為例，在Firefox位址列內輸入about:cache將顯示Firefox瀏覽器的快取資訊，如圖-3所示，點選List Cache Entries可以檢視詳細資訊。
2）清空firefox本地快取資料，
3）修改Nginx配置檔案，定義對靜態頁面的快取時間
[[email protected] ~]# vim /usr/local/nginx/conf/nginx.conf
server {
listen 80;
server_name localhost;
location / {
root html;
index index.html index.htm;
}
location ~* \.(jpg|jpeg|gif|png|css|js|ico|xml)$ {
expires 30d; //定義客戶端快取時間為30天
}
}
[[email protected] ~]# cp /usr/share/backgrounds/day.jpg /usr/local/nginx/html
[[email protected] ~]# nginx -s reload#請先確保nginx是啟動狀態才可以執行命令成功，否則報錯,報錯資訊如下：
#[error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)
4）優化後，使用Firefox瀏覽器訪問圖片，再次檢視快取資訊
[[email protected] ~]# firefox http://192.168.4.5/day.jpg
在Firefox位址列內輸入about:cache，檢視本地快取資料，檢視是否有圖片以及過期時間是否正確。
步驟五：自定義報錯頁面
1）優化前，客戶端使用瀏覽器訪問不存在的頁面，會提示404檔案未找到
[[email protected] ~]# firefox http://192.168.4.5/xxxxx //訪問一個不存在的頁面
2）修改Nginx配置檔案，自定義報錯頁面
[[email protected] ~]# vim /usr/local/nginx/conf/nginx.conf
.. ..
error_page 404 /40x.html; //自定義錯誤頁面
.. ..
[[email protected] ~]# vim /usr/local/nginx/html/40x.html //生成錯誤頁面
Oops,No NO no page …
[[email protected] ~]# nginx -s reload
#請先確保nginx是啟動狀態才可以執行命令成功，否則報錯,報錯資訊如下：
#[error] open() "/usr/local/nginx/logs/nginx.pid" failed (2: No such file or directory)
3）優化後，客戶端使用瀏覽器訪問不存在的頁面，會提示自己定義的40x.html頁面
[[email protected] ~]# firefox http://192.168.4.5/xxxxx //訪問一個不存在的頁面
4）常見http狀態碼
常見http狀態碼可用參考表-1所示。
表－1 主機列表
步驟六：如何檢視伺服器狀態資訊
1）編譯安裝時使用--with-http_stub_status_module開啟狀態頁面模組
[[email protected] ~]# yum -y install gcc pcre-devel openssl-devel //安裝常見依賴包
[[email protected] ~]# tar -zxvf nginx-1.12.2.tar.gz
[[email protected] ~]# cd nginx-1.12.2
[[email protected] nginx-1.12.2]# ./configure \
> --with-http_ssl_module //開啟SSL加密功能
> --with-stream //開啟TCP/UDP代理模組
> --with-http_stub_status_module //開啟status狀態頁面
[[email protected] nginx-1.12.2]# make && make install //編譯並安裝
2）修改Nginx配置檔案，定義狀態頁面
[[email protected] ~]# cat /usr/local/nginx/conf/nginx.conf
… …
location /status {
stub_status on;
}
… …
[[email protected] ~]# nginx
2）優化後，檢視狀態頁面資訊
[[email protected] ~]# curl http://192.168.4.5/status
Active connections: 1
server accepts handled requests
10 10 3
Reading: 0 Writing: 1 Waiting: 0
Active connections：當前活動的連線數量。
Accepts：已經接受客戶端的連線總數量。
Handled：已經處理客戶端的連線總數量（一般與accepts一致，除非伺服器限制了連線數量）。
Requests：客戶端傳送的請求數量。
Reading：當前伺服器正在讀取客戶端請求頭的數量。
Writing：當前伺服器正在寫響應資訊的數量。
Waiting：當前多少客戶端在等待伺服器的響應。
步驟七：對頁面進行壓縮處理
1）修改Nginx配置檔案
---------------------
[[email protected] ~]# cat /usr/local/nginx/conf/nginx.conf
http {
.. ..
gzip on; //開啟壓縮
gzip_min_length 1000; //小檔案不壓縮
gzip_comp_level 4; //壓縮比率
gzip_types text/plain text/css application/json application/x-javascript text/xml application/xml application/xml+rss text/javascript;
//對特定檔案壓縮，型別參考mime.types
.. ..
}
步驟八：伺服器記憶體快取
1）如果需要處理大量靜態檔案，可以將檔案快取在記憶體，下次訪問會更快。
http {
open_file_cache max=2000 inactive=20s;
open_file_cache_valid 60s;
open_file_cache_min_uses 5;
open_file_cache_errors off;
//設定伺服器最大快取2000個檔案控制代碼，關閉20秒內無請求的檔案控制代碼
//檔案控制代碼的有效時間是60秒，60秒後過期
//只有訪問次數超過5次會被快取
}