JAVA + LR實現apache流媒體的效能測試
最近的一個專案，視訊點播系統，使用apache實現的流媒體伺服器。其實準確的說叫做偽流（HTTP Pseudo-Streaming），基本原理和概念自行了解吧。
讓我簡單的描述就是仍然是HTTP下載，播放器播放本地快取。只不過它也實現了一些和正規流媒體服務類似的功能。視訊點播類系統的效能測試，說簡單了主要就是模擬大量使用者去看視訊。服務端監控整體效能，客戶端關注各自表現。這裡難點主要在於如何模擬大量使用者觀看視訊？如何判斷各客戶端展現？
多客戶端的模擬無外乎3種方法：
1.全公司總動員，一起看。
2.一臺機器開多個播放頁面（或者是一個頁面上嵌入多個播放器），呼叫多臺機器。
3.拋棄客戶端的解碼播放過程，直接想法下載視訊檔案。
第一種方法不用說，雖然最真實，但太原始沒有技術含量，如果是小公司人還不一定夠。
第二種方法在需要測試的使用者數不大時還可以，否則會佔用較多資源，而且技術含量也較低。這種方式，一臺機器上能模擬的使用者數很有限，因為CPU會很快成為瓶頸。
第三種方法最高效，在千兆網環境下，一臺機器可以模擬很多路使用者，此時網路頻寬是瓶頸（如果頻寬更大，估計硬碟IO就是瓶頸了）。但是沒有解碼和播放，如何判斷客戶端的效果呢？兩種方式，一是對比下載速度和位元速率，理論上只要下載速度足夠就可以了；二是測試過程中也可以開啟幾個真實的播放視窗來驗證播放效果，因為壓力在服務端，可以認為每個客戶端都是等價的。
本文要講的就是第三種測試方法。
以前還測過FMS的流媒體，網上可以找到現成的工具來實現本方法，只要呼叫就可以了。但HTTP的這次也搜了兩天，好像還真沒有，只好自己動手了。看來最高效的方法，實現起來卻是最麻煩的。基本思路是JAVA實現下載功能，用LR的JAVA Vuser實現多使用者的控制。動手前先給自己整理了一個需求
功能：
模擬下載√
播放列表√
下載速度記錄：總平均速度、每秒速度√
*偽裝成播放器進行連線
*客戶端限速
測試結果：
apache限速
下載速度
檔案完整
功能擴充套件
jar包或者exe檔案傳參（播放列表）
打對鉤的是已經實現了，帶星號的是未實現、也不一定需要實現的高階功能。通過測試程式，需要得到的結果是下載是否正確完成？下載速度是否足夠？apache的限速模組是否起作用（如果開啟）？這裡可能會有個問題，如果下載程式突破了apache的限速，那有可能是測試程式的問題，這就引出了上面的高階功能“偽裝成播放器”。
需要軟體測試資料的小夥伴，可以來加群：747981058。群內會有不定期的發放免費的資料連結，這些資料都是從各個技術網站蒐集、整理出來的，如果你有好的學習資料可以私聊發我，我會註明出處之後分享給大家。
下面直接貼程式碼，說明儘量放到註釋裡。
下載類，提供靜態方法。
package com.test;
import java.io.*;
import java.net.*;
import java.util.*;
public class DownloadFile {
/*
*下載指定URL的檔案
*userid是用於儲存本地檔案的標識
**/
public static int getHttpFileByUrl(String address, String userid) {
int bufferSize = 1024;
int size = 0;
byte[] buf = new byte[bufferSize];
/*
*下載時間字串
*用於檔案標識
*格式201210260130
**/
Date date = new Date();
SimpleDateFormat formatDate = new SimpleDateFormat("yyyyMMddHHmmss");
String downloadTime = formatDate.format(date);
/*
*計算下載速度相關
*/
int totalDownloadSize = 0;
int lastDownloadSize = 0;
long lastCheckTime = 0;
long startDownloadTime = 0;
int sec = 0;
/*
*下載和計算過程
*/
try {
URL url = new URL(address);
URLConnection conn = url.openConnection();
BufferedInputStream bis = new BufferedInputStream(conn.getInputStream());
FileOutputStream fos = new FileOutputStream("e: est estvideo" + "_" + downloadTime + "_" + userid);
System.out.println("File Size：" + conn.getContentLength()/1024 + "KB");
startDownloadTime = System.currentTimeMillis();
lastCheckTime = startDownloadTime;
while ((size = bis.read(buf)) != -1)
{
fos.write(buf,0,size);
totalDownloadSize += size;
/*
*計算每秒下載速度
*/
if (System.currentTimeMillis() - lastCheckTime > 1000) {
System.out.println(sec + ": " + (totalDownloadSize - lastDownloadSize)/1024 + "KB");
lastCheckTime = System.currentTimeMillis();
lastDownloadSize = totalDownloadSize;
sec++;
}
}
System.out.println("Vuser " + userid + " Download Completed!");
System.out.println("Average Download Speed: " + (totalDownloadSize/1024)/((System.currentTimeMillis() - startDownloadTime)/1000) + "KB/s");
fos.close();
bis.close();
}catch (MalformedURLException e) {
e.printStackTrace();
}catch (IOException e) {
e.printStackTrace();
}
return totalDownloadSize/1024;
}
}
測試驅動。
import com.test.*;
import java.util.*;
import java.io.*;
public class DownloadDrive {
public static void main (String[] args) {
//System.out.println("test");
//DownloadFile.test();
/*
*呼叫者測量
*自行實現
*/
int DownLoadSize = 0;
double DownLoadTime = 0;
int Speed = 0;
String url;
ArrayList urlList = new ArrayList();
/*
*讀取待下載的URL地址
*儲存到list中
*/
try{
BufferedReader br = new BufferedReader(new FileReader("url.txt"));
while((url = br.readLine()) != null){
urlList.add(url);
}
}catch(IOException ie){
ie.printStackTrace();
}
System.out.println("Total URLs: " + urlList.size());
/*
*依次下載list中的檔案
*/
for(int i = 0; i < urlList.size(); i++){
url = (String)urlList.get(i);
System.out.println(url);
//傳入url和每個呼叫者的標識
DownloadFile.getHttpFileByUrl(url, "1");
}
}
}
將待下載的URL儲存到url.txt中，每行一個地址。檔案放到DownloadDrive.class同目錄中。
到這，主要程式碼已經實現了。下一步需要做的是和LR整合，用LR的Java Vuser對下載功能進行控制，模擬多使用者。其實也就是重寫一個測試驅動，只不過這個驅動是需要LR內部方法了，應該沒有什麼技術上的難點了。
接下來，通過LoadRunner來實現多執行緒的模擬和控制。
新建LR的JAVA Vuser指令碼，這裡可以直接進行JAVA編碼，又可以呼叫LR的內部方法，如事務、思考時間、集合點等等。到了這步已經沒有任何難點了，開發人員只要花1個小時瞭解下LR的基本使用和常用方法即可，測試人員如果不會JAVA……那還是算了吧。
Action.java內容如下：
import lrapi.lr;
import com.test.*;
import java.util.*;
import java.io.*;
public class Actions
{
public int init() throws Throwable {
return 0;
}//end of init
public int action() throws Throwable {
/*
呼叫者測量
*/
int downloadSize = 0;
int downloadTime = 0;
long startTime = 0;
long endTime = 0;
int speed = 0;
int vid;
vid = lr.get_vuser_id();
/*
從url檔案生成arraylist
*/
String url;
ArrayList urlList = new ArrayList();
try{
BufferedReader br = new BufferedReader(new FileReader("url.txt"));
while((url = br.readLine()) != null){
urlList.add(url);
}
}catch(IOException ie){
ie.printStackTrace();
}
lr.enable_redirection(true);
lr.set_debug_message(lr.MSG_CLASS_JIT_LOG_ON_ERROR, lr.SWITCH_OFF);
System.out.println("Total URLs: " + urlList.size());
for(int i = 0; i < urlList.size(); i++){
url = (String)urlList.get(i);
System.out.println(url);
//事務名稱
String trxName = "URL" + (i+1);
startTime = System.currentTimeMillis();
lr.start_transaction(trxName);
//傳入url和每個呼叫者的標識
downloadSize = DownloadFile.getHttpFileByUrl(url, Integer.toString(vid));
lr.end_transaction(trxName, lr.AUTO);
endTime = System.currentTimeMillis();
downloadTime = (int)(endTime - startTime)/1000;
speed = downloadSize / downloadTime;
lr.output_message(trxName + ": completed");
lr.output_message("time cost: " + downloadTime + "s");
lr.output_message("average speed: " + speed + "KB/s");
lr.output_message("");
}
lr.set_debug_message(lr.MSG_CLASS_JIT_LOG_ON_ERROR, lr.SWITCH_ON);
return 0;
}//end of action
public int end() throws Throwable {
return 0;
}//end of end
}
所有以lr開頭的方法都是LR內部方法，這裡只用到了事務、日誌等幾個。
編譯之前我們的JAVA下載程式碼，將包（com.test）放入LR指令碼的目錄中，如圖：
開啟LR指令碼，執行試一下。
需要軟體測試資料的小夥伴，可以來加群：747981058。群內會有不定期的發放免費的資料連結，這些資料都是從各個技術網站蒐集、整理出來的，如果你有好的學習資料可以私聊發我，我會註明出處之後分享給大家。
可以看到正常輸出了日誌，再驗證一下下載到的檔案是否完整，找到輸出路徑，如“h:testtestvideo_20121106194419_-1”，用播放器開啟這個檔案，正常播放。說明我們的指令碼已經OK了，下面就要做多使用者的測試了。
開啟controller，設定同時執行2個VUSER（為了保證負載機的網路不成為瓶頸），執行場景。
可以看到，2個VUSER都按預期正常完成了。
從幾個方面驗證測試的有效性：
1是負載機的網路利用，上面單使用者執行指令碼時下載速度是5M/s（apache伺服器做了限速），這次兩個使用者同時下載達到了10M。
2是每個VUSER的輸出日誌。
3是下載檔案的完整性。