從服務端視角看高併發難題
所謂伺服器大流量高併發指的是:在同時或極短時間內,有大量的請求到達服務端,每個請求都需要服務端耗費資源進行處理,並做出相應的反饋。
從服務端視角看高併發
服務端處理請求需要耗費服務端的資源,比如能同時開啟的程序數、能同時執行的執行緒數、網路連線數、cpu、I/O、記憶體等等,由於服務端資源是有限的,那麼服務端能同時處理的請求也是有限的。高併發問題的本質就是:資源的有限性
高併發帶來的問題
服務端的處理和響應會越來越慢,甚至會丟棄部分請求不予處理,更嚴重的會導致服務端崩潰。
高併發處理的基本思路
1)從客戶端看
儘量減少請求數量,比如:依靠客戶端自身的快取或處理能力。
儘量減少對服務端資源的不必要耗費,比如:重複使用某些資源,如連線池客戶端處理的基本原則就是:能不訪問服務端就不要訪問
2)從服務端看
增加資源供給,比如:更大的網路頻寬,使用更高配置的伺服器,使用高效能的Web伺服器,使用高效能的資料庫
請求分流,比如:使用叢集,分散式的系統架構
應用優化,比如:使用更高效的程式語言,優化處理業務邏輯的演算法,優化訪問資料庫的SQL
基本原則:分而治之,並提高單個請求的處理速度
高併發處理的基本手段
1)客戶端發出請求層面,常見的手段有:
l 儘量利用瀏覽器的快取功能,減少訪問服務端,比如:js、css、圖片等
l 可以考慮使用壓縮傳輸的功能,減少網路流量,也會提高傳輸速度
l 考慮使用非同步請求,分批獲取資料
2)前端接收客戶端請求層面,常見的手段有:
l 動靜分離,部分靜態資源可以直接從Nginx返回
l 按請求的不同,分發到不同的後端進行處理,比如:負載均衡、業務拆分訪問等
l 前面再加上一層來做多個Nginx的負載均衡,比如:LVS、F5等
l 還可以在更前面使用CDN服務
l 還可以對動態內容進行快取,儘量減少訪問後端服務
3)Web伺服器層面,常見的手段有:
l 使用最新的JVM,並進行配置優化
l 對Web伺服器進行配置優化,比如:調整記憶體數量、執行緒數量等
l 提供多個能提供相同服務的Web伺服器,以實現負載均衡
l 仔細規劃Web伺服器上部署的應用規模
l 對Web伺服器進行叢集
4)Web應用層面,常見的手段有:
l 動態內容靜態化
l Java開發優化
l 優化處理業務邏輯的演算法
l 合理高效的利用快取
l 優化訪問資料庫的Sql,可以考慮利用儲存過程等資料庫的能力
l 合理使用多執行緒,加快業務處理
l 部分業務可以考慮記憶體資料庫,或者是進行純記憶體處理
l 儘量避免遠端呼叫、大量I/O等耗時的操作
l 合理規劃事務等較為耗資源的操作
l 合理使用非同步處理
l 對部分業務考慮採用預處理或者預計算的方式,減少實時計算量
l 內部系統間的業務儘量直接呼叫、直接處理,減少WebService、工作流等