系統吞吐量、TPS(QPS)、用戶並發量、性能測試概念和公式
PS:以下是性能測試的主要概念和計算公式,記錄下:
一.系統吞度量要素:
一個系統的吞度量(承壓能力)與request對CPU的消耗、外部接口、IO等等緊密關聯。單個reqeust 對CPU消耗越高,外部系統接口、IO影響速度越慢。系統吞吐能力越低,反之越高。
系統吞吐量幾個重要參數:QPS(TPS)、並發數、響應時間
QPS(TPS):每秒鐘request/事務 數量
並發數: 系統同一時候處理的request/事務數
響應時間: 一般取平均響應時間
(非常多人常常會把並發數和TPS理解混淆)
理解了上面三個要素的意義之後,就能推算出它們之間的關系:
QPS(TPS)= 並發數/平均響應時間 或者
並發數 = QPS*平均響應時間
一個典型的上班簽到系統,早上8點上班。7點半到8點這30分鐘的時間裏用戶會登錄簽到系統進行簽到。公司員工為1000人,平均每一個員上登錄簽到系統的時長為5分鐘。能夠用以下的方法計算。
QPS = 1000/(30*60) 事務/秒
平均響應時間為 = 5*60 秒
並發數= QPS*平均響應時間 = 1000/(30*60) *(5*60)=166.7
一個系統吞吐量通常由QPS(TPS)、並發數兩個因素決定,每套系統這兩個值都有一個相對極限值。在應用場景訪問壓力下,僅僅要某一項達到系統最高值。系統的吞吐量就上不去了,假設壓力繼續增大。系統的吞吐量反而會下降。原因是系統超負荷工作,上下文切換、內存等等其他消耗導致系統性能下降。
決定系統響應時間要素
我們做項目要排計劃,能夠多人同一時候並發做多項任務,也能夠一個人或者多個人串行工作,始終會有一條關鍵路徑,這條路徑就是項目的工期。
系統一次調用的響應時間跟項目計劃一樣,也有一條關鍵路徑,這個關鍵路徑是就是系統響應時間。
關鍵路徑是有CPU運算、IO、外部系統響應等等組成。
二.系統吞吐量評估:
我們在做系統設計的時候就須要考慮CPU運算、IO、外部系統響應因素造成的影響以及對系統性能的初步預估。
而通常境況下,我們面對需求,我們評估出來的出來QPS、並發數之外,還有另外一個維度:日PV。
通過觀察系統的訪問日誌發現。在用戶量非常大的情況下,各個時間周期內的同一時間段的訪問流量差點兒一樣。比方工作日的每天早上。僅僅要能拿到日流量圖和QPS我們就能夠推算日流量。
通常的技術方法:
1. 找出系統的最高TPS和日PV(Page View)。這兩個要素有相對照較穩定的關系(除了放假、季節性因素影響之外)
2. 通過壓力測試或者經驗預估,得出最高TPS,然後依據1的關系,計算出系統最高的日吞吐量。B2B中文和淘寶面對的客戶群不一樣,這兩個客戶群的網絡行為不應用,他們之間的TPS和PV關系比例也不一樣。
A)淘寶
淘寶流量圖:
淘寶的TPS和PV之間的關系通常為 最高TPS:PV大約為 1 : 11*3600 (相當於按最高TPS訪問11個小時,這個是商品詳情的場景,不同的應用場景會有一些不同)
B) B2B中文站
B2B的TPS和PV之間的關系不同的系統不同的應用場景比例變化比較大。粗略預計在1 : 8個小時左右的關系(09年對offerdetail的流量分析數據)。旺鋪和offerdetail這兩個比例相差非常大,可能是由於爬蟲暫的比例較高的原因導致。
在淘寶環境下,如果我們壓力測試出的TPS為100,那麽這個系統的日吞吐量=100*11*3600=396萬
這個是在簡單(單一url)的情況下。有些頁面。一個頁面有多個request,系統的實際吞吐量還要小。
不管有無思考時間(T_think),測試所得的TPS值和並發虛擬用戶數(U_concurrent)、Loadrunner讀取的交易響應時間(T_response)之間有下面關系(穩定執行情況下):
TPS=U_concurrent / (T_response+T_think)。
並發數、QPS、平均響應時間三者之間關系
上圖橫坐標是並發用戶數。
綠線是CPU使用率。紫線是吞吐量,即QPS。藍線是時延。
開始,系統僅僅有一個用戶,CPU工作肯定是不飽合的。一方面該server可能有多個cpu,可是僅僅處理單個進程。還有一方面,在處理一個進程中,有些階段可能是IO階段,這個時候會造成CPU等待,可是有沒有其它請 求進程可以被處理)。
隨著並發用戶數的添加,CPU利用率上升。QPS對應也添加(公式為QPS=並發用戶數/平均響應時間。)隨著並發用戶數的添加。平均響應時間也在添加。並且平均響應時間的添加是一個指數添加曲線。而當並發數添加到非常大時,每秒鐘都會有非常多請求須要處理。會造成進程(線程)頻繁切換。反正真正用於處理請求的時間變少,每秒可以處
理的請求數反而變少。同一時候用戶的請求等待時間也會變大。甚至超過用戶的心理底線。
來源:http://www.cnblogs.com/jackei/
軟件性能測試的基本概念和計算公式
一、軟件性能的關註點
對一個軟件做性能測試時須要關註那些性能呢?
我們想想在軟件設計、部署、使用、維護中一共同擁有哪些角色的參與。然後再考慮這些角色各自關註的性能點是什麽,作為一個軟件性能測試project師。我們又該關註什麽?
首先。開發軟件的目的是為了讓用戶使用,我們先站在用戶的角度分析一下,用戶須要關註哪些性能。
對於用戶來說,當點擊一個button、鏈接或發出一條指令開始,到系統把結果已用戶感知的形式展現出來為止。這個過程所消耗的時間是用戶對這個軟件性能的直觀印象。
也就是我們所說的響應時間,當對應時間較小時,用戶體驗是非常好的,當然用戶體驗的響應時間包含個人主觀因素和客觀響應時間,在設計軟件時,我們就須要考慮到怎樣更好地結合這兩部分達到用戶最佳的體驗。
如:用戶在大數據量查詢時,我們能夠將先提取出來的數據展示給用戶,在用戶看的過程中繼續進行數據檢索,這時用戶並不知道我們後臺在做什麽。
用戶關註的是用戶操作的對應時間。
其次,我們站在管理員的角度考慮須要關註的性能點。
1、 對應時間
2、 server資源使用情況是否合理
3、 應用server和數據庫資源使用是否合理
4、 系統是否能實現擴展
5、 系統最多支持多少用戶訪問、系統最大業務處理量是多少
6、 系統性能可能存在的瓶頸在哪裏
7、 更換那些設備能夠提高性能
8、 系統是否能支持7×24小時的業務訪問
再次,站在開發(設計)人員角度去考慮。
1、 架構設計是否合理
2、 數據庫設計是否合理
3、 代碼是否存在性能方面的問題
4、 系統中是否有不合理的內存使用方式
5、 系統中是否存在不合理的線程同步方式
6、 系統中是否存在不合理的資源競爭
那麽站在性能測試project師的角度,我們要關註什麽呢?
一句話。我們要關註以上全部的性能點。
二、軟件性能的幾個主要術語
1、響應時間:對請求作出響應所須要的時間
網絡傳輸時間:N1+N2+N3+N4
應用server處理時間:A1+A3
數據庫server處理時間:A2
響應時間=N1+N2+N3+N4+A1+A3+A2
2、並發用戶數的計算公式
系統用戶數:系統額定的用戶數量,如一個OA系統。可能使用該系統的用戶總數是5000個。那麽這個數量。就是系統用戶數。
同一時候在線用戶數:在一定的時間範圍內。最大的同一時候在線用戶數量。
同一時候在線用戶數=每秒請求數RPS(吞吐量)+並發連接數+平均用戶思考時間
平均並發用戶數的計算:C=nL / T
當中C是平均的並發用戶數,n是平均每天訪問用戶數(login session),L是一天內用戶從登錄到退出的平均時間(login session的平均時間),T是考察時間長度(一天內多長時間實用戶使用系統)
並發用戶數峰值計算:C^約等於C + 3*根號C
當中C^是並發用戶峰值。C是平均並發用戶數。該公式遵循泊松分布理論。
3、吞吐量的計算公式
指單位時間內系統處理用戶的請求數
從業務角度看。吞吐量能夠用:請求數/秒、頁面數/秒、人數/天或處理業務數/小時等單位來衡量
從網絡角度看,吞吐量能夠用:字節/秒來衡量
對於交互式應用來說。吞吐量指標反映的是server承受的壓力,他可以說明系統的負載能力
以不同方式表達的吞吐量能夠說明不同層次的問題,比如。以字節數/秒方式能夠表示數要受網絡基礎設施、server架構、應用server制約等方面的瓶頸。已請求數/秒的方式表示主要是受應用server和應用代碼的制約體現出的瓶頸。
當沒有遇到性能瓶頸的時候,吞吐量與虛擬用戶數之間存在一定的聯系。能夠採用下面公式計算:F=VU * R /
當中F為吞吐量,VU表示虛擬用戶個數,R表示每一個虛擬用戶發出的請求數,T表示性能測試所用的時間
4、性能計數器
是描寫敘述server或操作系統性能的一些數據指標。如使用內存數、進程時間。在性能測試中發揮著“監控和分析”的作用,尤其是在分析統統可擴展性、進行新能瓶頸定位時有著很關鍵的作用。
資源利用率:指系統各種資源的使用情況,如cpu占用率為68%,內存占用率為55%,一般使用“資源實際使用/總的資源可用量”形成資源利用率。
5、思考時間的計算公式
Think Time,從業務角度來看,這個時間指用戶進行操作時每一個請求之間的時間間隔,而在做新能測試時,為了模擬這種時間間隔,引入了思考時間這個概念。來更加真實的模擬用戶的操作。
在吞吐量這個公式中F=VU * R / T說明吞吐量F是VU數量、每一個用戶發出的請求數R和時間T的函數,而當中的R又能夠用時間T和用戶思考時間TS來計算:R = T / TS
以下給出一個計算思考時間的一般步驟:
A、首先計算出系統的並發用戶數
C=nL / T F=R×C
B、統計出系統平均的吞吐量
F=VU * R / T R×C = VU * R / T
C、統計出平均每一個用戶發出的請求數量
R=u*C*T/VU
D、依據公式計算出思考時間
TS=T/R
系統吞吐量、TPS(QPS)、用戶並發量、性能測試概念和公式