1. 程式人生 > >高併發高負載系統架構-php篇

高併發高負載系統架構-php篇

3、解決之道——硬體篇

處理能力的提升:部署多顆CPU,選擇多核心、具備更高運算頻率、更大快取記憶體的CPU;

處理能力的提升最直接的反應在於Web請求的處理效率和PHP程式的執行效率。

記憶體頻寬與容量:更大的記憶體頻寬和容量;

記憶體頻寬與容量的提升最直接的反應在於應對資料庫大量的資料交換。

磁碟搜尋與I/O能力:選擇更高的轉速、更大的硬碟快取、元件磁碟陣列(RAID);

磁碟搜尋與I/O能力的提升最直接反應在於資料庫大量的查詢和讀寫以及檔案的讀寫。

網路頻寬的提升可考慮的因素包括: 更大頻寬、多線路接入、獨享頻寬;

伺服器在大負載的情況下,對網路頻寬的佔用是十分可觀的。

策略:硬體設施是應對大負載的基礎,硬體設施的投入可根據實際壓力和預算量力而行。

4、解決之道——部署篇

4.1、伺服器分離

4.2、資料庫叢集和庫表雜湊

4.3、映象

4.4、負載均衡
分類:  1)、DNS輪循  2)代理伺服器負載均衡   3)地址轉換閘道器負載均衡  

           4)NAT負載均衡   5)反向代理負載均衡   6)混合型負載均衡

策略:根據硬體投入和業務需求,選擇合理的部署方案。

部署方案1:

適用範圍:靜態內容為主體的網站和應用系統;對系統安全要求較高的網站和應用系統。

Main Server:主伺服器

承載程式的主體執行壓力,處理網站或應用系統中的動態請求;

將靜態頁面推送至多個釋出伺服器;

將附件檔案推送至檔案伺服器;

安全要求較高,以靜態為主的網站,可將伺服器置於內網遮蔽外網的訪問。

DB Server:資料庫伺服器

承載資料庫讀寫壓力;

只與主伺服器進行資料量交換,遮蔽外網訪問。

File/Video Server:檔案/視訊伺服器

承載系統中佔用系統資源和頻寬資源較大的資料流;

作為大附件的儲存和讀寫倉庫;

作為視訊伺服器將具備視訊自動處理能力。

釋出伺服器組:

只負責靜態頁面的釋出,承載絕大多數的Web請求;

通過Nginx進行負載均衡部署。

 部署方案2:

適用範圍:以動態互動內容為主體的網站或應用系統;負載壓力較大,且預算比較充足的網站或應用系統;

Web伺服器組:

Web服務無主從關係,屬平行冗餘設計;

通過前端負載均衡裝置或Nginx反向代理實現負載均衡;

劃分專用檔案伺服器/視訊伺服器有效分離輕/重匯流排;

每臺Web伺服器可通過DEC可實現連線所有資料庫,同時劃分主從。

資料庫伺服器組:

相對均衡的承載資料庫讀寫壓力;

通過資料庫物理檔案的對映實現多資料庫的資料同步。

共享磁碟/磁碟陣列

將用於資料物理檔案的統一讀寫

用於大型附件的儲存倉庫

通過自身物理磁碟的均衡和冗餘,確保整體系統的IO效率和資料安全;

方案特性:

通過前端負載均衡,合理分配Web壓力;

通過檔案/視訊伺服器與常規Web伺服器的分離,合理分配輕重資料流;

通過資料庫伺服器組,合理分配資料庫IO壓力;

每臺Web伺服器通常只連線一臺資料庫伺服器,通過DEC的心跳檢測,可在極短時間內自動切換至冗餘資料庫伺服器;

磁碟陣列的引入,大幅提升系統IO效率的同時,極大增強了資料安全性。

5、解決之道——環境篇

5.1、作業系統

作業系統的選擇,關注點在於

•是否適應於搭建SiteEngine所需要的環境程式? •系統本身佔用的資源比; •系統安全性; •系統是否易於操作?

策略:我們選擇FreeBSD,而且是最小化安裝以後的FreeBSD。

5.2、Web伺服器

Web伺服器很大一部分資源佔用來自於處理Web請求,通常情況下這也就是Apache產生的壓力,Apache是世界使用排名第一的Web伺服器軟體。它可以執行在幾乎所有廣泛使用的計算機平臺上。

在高併發連線的情況下,Nginx是Apache伺服器不錯的替代品。Nginx (“engine x”) 是俄羅斯人編寫的一款高效能的 HTTP 和反向代理伺服器。在國內,已經有新浪、搜狐通行證、網易新聞、網易部落格、金山逍遙網、金山愛詞霸、校內網、YUPOO相簿、豆瓣、迅雷看看等多家網站、頻道使用 Nginx 伺服器。

Nginx的優勢:

高併發連線:官方測試能夠支撐5萬併發連線,在實際生產環境中跑到2~3萬併發連線數。

記憶體消耗少:在3萬併發連線下,開啟的10個Nginx 程序才消耗150M記憶體(15M*10=150M)。

內建的健康檢查功能:如果 Nginx Proxy 後端的某臺 Web 伺服器宕機了,不會影響前端訪問。

策略:相對於老牌的Apache,我們選擇Lighttpd和Nginx這些具有更小的資源佔用率和更高的負載能力的web伺服器。

5.3、Mysql

MySQL本身具備了很強的負載能力,MySQL優化是一項很複雜的工作,因為這最終需要對系統優化的很好理解。大家都知道資料庫工作就是大量的、短時的查詢和讀寫,除了程式開發時需要注意建立索引、提高查詢效率等軟體開發技巧之外,從硬體設施的角度影響MySQL執行效率最主要來自於磁碟搜尋、磁碟IO水平、CPU週期、記憶體頻寬。

  根據伺服器上的硬體和軟體條件進行MySQl優化。MySQL優化的核心在於系統資源的分配,這不等於無限制的給MySQL分配更多的資源。在MySQL配置檔案中我們介紹幾個最值得關注的引數:

改變索引緩衝區長度(key_buffer)

改變表長(read_buffer_size)

設定開啟表的數目的最大值(table_cache)

對緩長查詢設定一個時間限制(long_query_time)

如果條件允許 ,一般MySQL伺服器最好安裝在Linux作業系統中,而不是安裝在FreeBSD中。


策略: MySQL優化需要根據業務系統的資料庫讀寫特性和伺服器硬體配置,制定不同的優化方案,並且可以根據需要部署MySQL的主從結構。

5.4、PHP

1、載入儘可能少的模組;

2、如果是在windows平臺下,儘可能使用IIS或者Nginx來替代我們平常用的Apache;

3、安裝加速器(都是通過快取php程式碼預編譯的結果和資料庫結果來提高php程式碼的執行速度)
 eAccelerator

eAccelerator是一個自由開放原始碼php加速器,優化和動態內容快取,提高了效能php指令碼的快取效能,使得PHP指令碼在編譯的狀態下,對伺服器的開銷幾乎完全消除。

Apc

  Alternative PHP Cache(APC)是 PHP 的一個免費公開的優化程式碼快取。它用來提供免費,公開並且強健的架構來快取和優化 PHP 的中間程式碼。

memcache

  memcache是由Danga Interactive開發的,高效能的,分散式的記憶體物件快取系統,用於在動態應用中減少資料庫負載,提升訪問速度。主要機制是通過在記憶體裡維護一個統一的巨大的hash表,Memcache能夠用來儲存各種格式的資料,包括影象、視訊、檔案以及資料庫檢索的結果等

Xcache

國人開發的快取器,

策略: 為PHP安裝加速器。

5.5、代理伺服器(快取伺服器)

Squid Cache(簡稱為Squid)是一個流行的自由軟體(GNU通用公共許可證)的代理伺服器和Web快取伺服器。Squid有廣泛的用途,從作為網頁伺服器的前置cache伺服器快取相關請求來提高Web伺服器的速度,到為一組人共享網路資源而快取全球資訊網,域名系統和其他網路搜尋,到通過過濾流量幫助網路安全,到區域網通過代理上網。Squid主要設計用於在Unix一類系統執行。

策略:安裝Squid 反向代理伺服器,能夠大幅度提高伺服器效率。

6、解決之道——SiteEngine篇

7、解決之道——測試篇

7.1、測試方法

7.2、測試用例

7.3、壓力測試

壓力測試是一種基本的質量保證行為,它是每個重要軟體測試工作的一部分。壓力測試的基本思路很簡單:不是在常規條件下執行手動或自動測試,而是在計算機數量較少或系統資源匱乏的條件下執行測試。通常要進行壓力測試的資源包括內部記憶體、CPU 可用性、磁碟空間和網路頻寬等。一般用併發來做壓力測試。

壓力測試工具:webbench,ApacheBench等

7.4、漏洞測試

在我們的系統中漏洞主要包括:sql注入漏洞,xss跨站指令碼攻擊等。安全方面還包括系統軟體,如作業系統漏洞,mysql、apache等的漏洞,一般可以通過升級來解決。

漏洞測試工具:Acunetix Web Vulnerability Scanner

8、結尾