#0 系列目錄#

• 大型分散式網站架構
• 大型分散式網站架構技術總結

本文是學習大型分散式網站架構的技術總結。對架構一個高效能，高可用，可伸縮，可擴充套件的分散式網站進行了概要性描述，並給出一個架構參考。一部分為讀書筆記，一部分是個人經驗總結。對大型分散式網站架構有很好的參考價值。

1

#1 大型網站的特點#

• 使用者多，分佈廣泛
• 大流量，高併發
• 海量資料，服務高可用
• 安全環境惡劣，易受網路攻擊
• 功能多，變更快，頻繁釋出
• 從小到大，漸進發展
• 以使用者為中心
• 免費服務，付費體驗

2

#2 大型網站架構目標#

• 高效能：提供快速的訪問體驗。
• 高可用：網站服務一直可以正常訪問。
• 可伸縮：通過硬體增加/減少，提高/降低處理能力。
• 安全性：提供網站安全訪問和資料加密，安全儲存等策略。
• 擴充套件性：方便的通過新增/移除方式，增加/減少新的功能/模組。
• 敏捷性：隨需應變，快速響應；

3

#3 大型網站架構模式#

• 分層：一般可分為，應用層，服務層，資料層，管理層，分析層；
• 分割：一般按照業務/模組/功能特點進行劃分，比如應用層分為首頁，使用者中心。
• 分散式：將應用分開部署（比如多臺物理機），通過遠端呼叫協同工作。
• 叢集：一個應用/模組/功能部署多份（如：多臺物理機），通過負載均衡共同提供對外訪問。
• 快取：將資料放在距離應用或使用者最近的位置，加快訪問速度。
• 非同步：將同步的操作非同步化。客戶端發出請求，不等待服務端響應，等服務端處理完畢後，使用通知或輪詢的方式告知請求方。一般指：請求——響應——通知 模式。
• 冗餘：增加副本，提高可用性，安全性，效能。
• 安全：對已知問題有有效的解決方案，對未知/潛在問題建立發現和防禦機制。
• 自動化：將重複的，不需要人工參與的事情，通過工具的方式，使用機器完成。
• 敏捷性：積極接受需求變更，快速響應業務發展需求。

4

#4 高效能架構#

以使用者為中心，提供快速的網頁訪問體驗。主要引數有較短的響應時間，較大的併發處理能力，較高的吞吐量，穩定的效能引數。可分為前端優化，應用層優化，程式碼層優化，儲存層優化。

• 前端優化：網站業務邏輯之前的部分；
• 瀏覽器優化：減少Http請求數，使用瀏覽器快取，啟用壓縮，Css Js位置，Js非同步，減少Cookie傳輸；
• CDN加速，反向代理；
• 應用層優化：處理網站業務的伺服器。使用快取，非同步，叢集
• 程式碼優化：合理的架構，多執行緒，資源複用（物件池，執行緒池等），良好的資料結構，JVM調優，單例，Cache等；
• 儲存優化：快取，固態硬碟，光纖傳輸，優化讀寫，磁碟冗餘，分散式儲存（HDFS），NOSQL等；

5

#5 高可用架構#

大型網站應該在任何時候都可以正常訪問。正常提供對外服務。因為大型網站的複雜性，分散式，廉價伺服器，開源資料庫，作業系統等特點。要保證高可用是很困難的，也就是說網站的故障是不可避免的。

如何提高可用性，就是需要迫切解決的問題。首先，需要從架構級別，在規劃的時候，就考慮可用性。行業內一般用幾個9表示可用性指標。比如四個9（99.99），一年內允許的不可用時間是53分鐘。

不同層級使用的策略不同，一般採用冗餘備份和失效轉移解決高可用問題。

• 應用層：一般設計為無狀態的，對於每次請求，使用哪一臺伺服器處理是沒有影響的。一般使用負載均衡技術（需要解決Session同步問題），實現高可用。
• 服務層：負載均衡，分級管理，快速失敗（超時設定），非同步呼叫，服務降級，冪等設計等。
• 資料層：冗餘備份（冷，熱備[同步，非同步]，溫備），失效轉移（確認，轉移，恢復）。資料高可用方面著名的理論基礎是CAP理論（永續性，可用性，資料一致性[強一致，使用者一致，最終一致]）。

6

#6 可伸縮架構#

伸縮性是指在不改變原有架構設計的基礎上，通過新增/減少硬體（伺服器）的方式，提高/降低系統的處理能力。

• 應用層：對應用進行垂直或水平切分。然後針對單一功能進行負載均衡（DNS,HTTP[反向代理],IP,鏈路層）。
• 服務層：與應用層類似；
• 資料層：分庫，分表，NOSQL等；常用演算法Hash，一致性Hash。

7

#7 可擴充套件架構#

可以方便的進行功能模組的新增/移除，提供程式碼/模組級別良好的可擴充套件性。

• 模組化，元件化：高內聚，低耦合，提高複用性，擴充套件性。
• 穩定介面：定義穩定的介面，在介面不變的情況下，內部結構可以“隨意”變化。
• 設計模式：應用面向物件思想，原則，使用設計模式，進行程式碼層面的設計。
• 訊息佇列：模組化的系統，通過訊息佇列進行互動，使模組之間的依賴解耦。
• 分散式服務：公用模組服務化，提供其他系統使用，提高可重用性，擴充套件性。

8

#8 安全架構#

對已知問題有有效的解決方案，對未知/潛在問題建立發現和防禦機制。對於安全問題，首先要提高安全意識，建立一個安全的有效機制，從政策層面，組織層面進行保障。比如伺服器密碼不能洩露，密碼每月更新，並且三次內不能重複；每週安全掃描等。以制度化的方式，加強安全體系的建設。同時，需要注意與安全有關的各個環節。安全問題不容忽視。包括基礎設施安全，應用系統安全，資料保密安全等。

• 基礎設施安全：硬體採購，作業系統，網路環境方面的安全。一般採用，正規渠道購買高質量的產品，選擇安全的作業系統，及時修補漏洞，安裝防毒軟體防火牆。防範病毒，後門。設定防火牆策略，建立DDOS防禦系統，使用攻擊檢測系統，進行子網隔離等手段。
• 應用系統安全：在程式開發時，對已知常用問題，使用正確的方式，在程式碼層面解決掉。防止跨站指令碼攻擊（XSS），注入攻擊，跨站請求偽造（CSRF），錯誤資訊，HTML註釋，檔案上傳，路徑遍歷等。還可以使用Web應用防火牆（比如：ModSecurity），進行安全漏洞掃描等措施，加強應用級別的安全。
• 資料保密安全：儲存安全（存在在可靠的裝置，實時，定時備份），儲存安全（重要的資訊加密儲存，選擇合適的人員複雜儲存和檢測等），傳輸安全（防止資料竊取和資料篡改）；
• 常用的加解密演算法（單項雜湊加密[MD5,SHA]，對稱加密[DES,3DES,RC]），非對稱加密[RSA]等。

9

#9 敏捷性#

網站的架構設計，運維管理要適應變化，提供高伸縮性，高擴充套件性。方便的應對快速的業務發展，突增高流量訪問等要求。

除上面介紹的架構要素外，還需要引入敏捷管理，敏捷開發的思想。使業務，產品，技術，運維統一起來，隨需應變，快速響應。

10

#10 大型架構舉例#

以上採用七層邏輯架構，第一層客戶層，第二層前端優化層，第三層應用層，第四層服務層，第五層資料儲存層，第六層大資料儲存層，第七層大資料處理層。

• 客戶層：支援PC瀏覽器和手機APP。差別是手機APP可以直接訪問通過IP訪問，反向代理伺服器。
• 前端層：使用DNS負載均衡，CDN本地加速以及反向代理服務；
• 應用層：網站應用叢集；按照業務進行垂直拆分，比如商品應用，會員中心等；
• 服務層：提供公用服務，比如使用者服務，訂單服務，支付服務等；
• 資料層：支援關係型資料庫叢集（支援讀寫分離），NOSQL叢集，分散式檔案系統叢集；以及分散式Cache；
• 大資料儲存層：支援應用層和服務層的日誌資料收集，關係資料庫和NOSQL資料庫的結構化和半結構化資料收集；
• 大資料處理層：通過Mapreduce進行離線資料分析或Storm實時資料分析，並將處理後的資料存入關係型資料庫。（實際使用中，離線資料和實時資料會按照業務要求進行分類處理，並存

作者：陶邦仁 連結：https://my.oschina.net/xianggao/blog/637794