閘道器中介軟體-Nginx(二)
第一部分我們主要介紹如下幾點：
1.nginx的基本概念
2.nginx結合業務場景實現負載均衡
3.常見問題的舉例
這一部分主要介紹Nginx中限流，快取，動靜分離，以及Nginx的叢集搭建，如果涉及舉例的話，依然使用上一部分的業務
一、限流
1.為什麼要限流？
對於伺服器來說，當有大量的高併發查詢時，假設當負載均衡的2個例項處理能力達到極限的時候，導致系統可能宕機的風險，那麼查詢就無法完成，所以在有限資源的情況下。我們應如何保證系統不宕機？這時候我們就應該使用限流的方式來控制請求湧入伺服器，保證可用性。
2.限流的方式
1.服務端和客戶端限流
主要配置是使用Nginx中的ngx_http_limit_conn_module
服務端限流
- 使用
服務端限流來控制當前的虛擬主機的訪問量.
客戶端限流
- 使用
客戶端端限流來控制當前ip請求的客戶端只能訪問一次.
# 服務端限流，限制總流量,獲取伺服器虛擬主機的名字 limit_conn_zone $server_name zone=perserver:10m; # 客戶端限流 獲取客戶端的ip地址 limit_conn_zone $binary_remote_addr zone=perserver:10m; server { listen 80; server_name localhost; location / { # 只能限制2個請求進入伺服器 limit_conn perserver 2; proxy_pass http://HealthCode; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } }
2種方式的缺陷
-
1.在使用服務端限流時，假設有10個客戶端在訪問，第一個客戶端被人惡意訪問，佔用了全部的併發量，那其他正常的都無法訪問,這肯定是不友好的。
-
2.在使用客戶端限流時，假設限制一個客戶ip只能請求一次，但在某一時刻一共有百萬個客戶端請求併發，那服務同樣也抵抗不住會宕機。
2.平滑限流
1.針對第一部分中服務端和客戶端限流的策略產生的缺陷來說，我們可以選擇平滑限流的策略,主要在配置檔案中使用ngx_http_limit_req_module來完成，
他的實現原理基於令牌桶演算法，也就是在處理請求時，會去查詢是否存在對應的令牌，如果令牌沒有了，那就會丟棄請求，例如設定速率是一秒鐘1000個，那就是1毫秒生成 一個令牌，也就是說在1毫秒，只能拿到一個令牌，如果一毫秒內請求100個，但是隻拿到一個令牌，那就會丟棄其他99個請求。
#zone=addr:10m 將請求數緩衝
limit_req_zone $binary_remote_addr zone=one:10m rate=1000r/s;
server {
listen 80;
server_name localhost;
location / {
limit_req zone=one;
proxy_pass http://HealthCode;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
2.如果設定速率為10毫秒一個，也就是10毫秒生成一個Token，按照這種情況伺服器10毫秒只能處理一個有效請求，其他的會丟棄，但是伺服器例項的效能能在10毫秒內處理3個，那此時我們應該既要保證突發又要保證平滑，這時就需要新增一個新的配置burst設定突發請求，意思就是再10毫秒只能處理一個請求的基礎上，再額外新增處理3個請求一秒鐘一個，設定nodelay將不會獲取token令牌，直接處理。
#zone=addr:10m 將請求數緩衝
limit_req_zone $binary_remote_addr zone=one:10m rate=1000r/s;
server {
listen 80;
server_name localhost;
location / {
#burst設定突發3 nodelay不延時
limit_req zone=one burst=3 nodelay;
proxy_pass http://HealthCode;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
3.由於nginx是全侷限流，他會把所有的請求全部限流，有的時候我們只想針對某一個業務做到限流，例如我在查詢健康碼時需要限流，但是我在註冊個人資訊時，不需要限流我們就應該對location進行規則匹配了，例如我只想限制查詢限流，就可以配置對應的介面限流
#zone=addr:10m 將請求數緩衝
limit_req_zone $binary_remote_addr zone=one:10m rate=1000r/s;
server {
listen 80;
server_name localhost;
#所有
location / {
proxy_pass http://HealthCode;
}
#設定api/HealthCode 路由進行限流
location = /api/HealthCode {
limit_req zone=one burst=3 nodelay;
proxy_pass http://HealthCode;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
二、動靜分離
主要在web專案中將動態資源和靜態資源分開，如果網站併發量太大，動態資源把cpu、記憶體資源耗盡，導致靜態資源無法訪問，所以需要使用動靜分離以提高網站可用性。
- 靜態資源：CSS js 圖片 視訊 文件等資料。
- 動態資源：和資料庫有互動的一些資源
1.同一虛擬主機動靜分離
1.建立web網站，將靜態資源拷貝到單獨的資料夾中。
2.在nginx配置檔案中單獨新增一個虛擬主機節點8089，加入一個靜態資源處理的location，和一個動態資源處理的location
3.將靜態資源和動態資源location節點，分別指向，靜態資源對應目錄，動態組員對應啟動埠和站點。
server {
listen 8089;
server_name localhost;
#動態資源
location / {
proxy_pass http://localhost:5007;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
# ~代表優先匹配靜態資源
location ~ \.(ico|js|css|png|jpg|mp4)$ {
root C:/wwwroot;
}
}
2.不同虛擬主機動靜分離
1.建立web網站，將靜態資源拷貝到單獨的資料夾中。
2.在nginx配置檔案中單獨新增一個虛擬主機8089節點，加入一個location，專門用於處理動態資源。
server {
listen 8089;
server_name localhost;
location / {
proxy_pass http://localhost:5007;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
3.在nginx配置檔案中單獨新增一個虛擬主機8090節點，加入一個location，專門用於處理靜態資源。
server {
listen 8090;
server_name localhost;
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
location ~ \.(ico|js|css|png|jpg|mp4)$ {
root C:/wwwroot;
}
}
4.建立虛擬主機節點8091，用於合併動態資源和靜態資源節點
server {
listen 8091;
server_name localhost;
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
#對映動態資源虛擬主機
location / {
proxy_pass http://localhost:8089;
}
#對映靜態資源虛擬主機
location ~ \.(ico|js|css|png|jpg|mp4)$ {
proxy_pass http://localhost:8090;
}
}
上面方法雖然雖然能實現動靜分離，有3個虛擬主機，但是在某種意義上只是對這個概念的實現，並沒有真正解決高併發場景下的問題，因為所有的處理依然還是在一臺主機，共享記憶體、cpu，所以實際情況的最佳實踐應該是有3臺伺服器用於放置不同的服務。
3.拆分配置檔案
有時候我們專案大了，nginx配置檔案的配置項和虛擬主機也多了，維護也不太容易，所以我們應該使用配置檔案拆分，然後使用Include命令讀取
1.新建一個拆分的conf命名 cache.conf;
server {
listen 8089;
server_name localhost;
}
2.在nginx主配置檔案中使用Include命令合併配置
include cache.conf;
三、nginx 代理快取
Nginx快取主要是用於減輕後端伺服器的負載，提高網站併發量，提升使用者體驗度。
Nginx對客戶已經訪問過的內容在Nginx伺服器本地建立副本，這樣在一段時間內再次訪問該資料，就不需要通過Nginx伺服器再次向後端伺服器發出請求，所以能夠減少Nginx伺服器與後端伺服器之間的網路流量，減輕網路阻塞，同時還能減小資料傳輸延遲，提高使用者訪問速度。
儲存形式
Nginx快取是鍵值儲存，URL是鍵，檔案路徑是值。鍵值儲存的速度就是加快在檔案系統中查詢的速度。所以，儲存的key是雜湊過的值。
使用代理快取需要知道的幾點：
- 快取檔案放哪兒 ？
- 如何指定哪些請求被快取 ？
- 快取的有效期是多久 ?
- 對於某些請求，是否可以不走快取 ？
1.配置代理快取
1.首先需要在nginx目錄中建立一個儲存快取的目錄/cache/nginx/，然後配置快取儲存路徑和快取佔用空間大小
proxy_cache_path ./cache/nginx/ levels=1:2 keys_zone=mycache:64m;
2.虛擬主機配置
location / {
proxy_cache mycache;
proxy_pass http://localhost:5007;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_cache_methods GET HEAD;
proxy_cache_revalidate on;
proxy_cache_valid 200 302 10m;
proxy_cache_valid 404 1m;
proxy_cache_valid any 1m;
proxy_cache_min_uses 1;
proxy_cache_use_stale error timeout invalid_header http_500 http_502 http_503 http_504;
}
- proxy_cache mycache; #引用mycache快取空間;
- proxy_set_header Host $host;#用於後端的real server區分不同的虛擬主機;
- proxy_set_header X-Real-IP $remote_addr; #記錄客戶端真實ip地址,而不是代理伺服器地址,需要後端web伺服器開啟日誌相應功能接收;
- proxy_cache_methods GET HEAD;#表示對客戶端請求的GET 和 HEAD方法進行快取;
- proxy_cache_revalidate on;#本地快取過期會檢查後端伺服器該快取是否存在，避免後端重傳佔據頻寬;
- proxy_cache_valid 200 302 10m;
proxy_cache_valid 404 1m;
proxy_cache_valid any 1m;
#針對於不同的響應碼進行快取不同的時間設定; - proxy_cache_min_uses 30;#某一個請求被響應30次才會被快取,預設是1,可以將該值設定為大一些;
- proxy_cache_use_stale error timeout invalid_header http_500 http_502 http_503 http_504;
#指明哪種場景可以使用過期快取,提升使用者體驗; - proxy_hide_header;#隱藏由proxy響應客戶端時指定的首部;
- proxy_buffer 4|8k #為了響應客戶端更快,伺服器端響應客戶端可能分成多個ip報文響應,也可以整合在一起再一次響應;
存在的缺陷
此類代理快取，例如資料庫更新可能會存在一段時間的資料不同步，所以最好的方法就是使用redis或者ssdb儲存nginx的快取，使用資料異構工具將資料同步，然後nginx讀取資料庫中的快取