000 - Sysbench 資料庫壓力測試工具

• sysbench是一個開源的、模組化的、跨平臺的多執行緒效能測試工具，可以用來進行CPU、記憶體、磁碟I/O、執行緒、資料庫的效能測試。目前支援的資料庫有MySQL、Oracle和PostgreSQL。以下操作都將以支援MySQL資料庫為例進行。

1. Linux 上安裝 sysbench 工具

• 安裝方式有兩種，一種是通過yum/apt等來安裝，另一種自己下載原始碼包來安裝，筆者這裡採用的是centos,採用yum安裝
• sysbench的原始碼包下載地址：http://sourceforge.net/projects/sysbench，採用原始碼安裝的可轉這裡
• 通過yum安裝如下：
  • 設定yum repo倉庫

curl -shttps://packagecloud.io/install/repositories/akopytov/sysbench/script.rpm.sh| sudo bash

• 安裝

sudo yum -y install sysbench

• 安裝完檢查是否成功

sysbench --version

2. 資料庫測試用例準備

• 我們這裡測試的是MySQL，首先我們在資料庫建立一個專門用來測試的庫test_db

• 通過sysbench建立20個測試表，每個表中建立100萬資料，再通過10個執行緒對測試庫發起訪問，持續5分鐘，對其進行壓測

3. sysbench 構建表與資料

• 執行下面命令準備資料

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable prepare

• 上面命令的引數說明：
  • --db-driver=mysql
    : 表示資料庫的驅動型別，我們使用的是MySQL所以填mysql,如果使用Oracle則填寫相應的oracle
  • --time=300: 這個引數表示持續訪問的時間 300秒
  • --threads=10: 表示使用10個執行緒模擬併發訪問
  • --report-interval=1: 表示每隔一秒輸出以此壓測情況
  • --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root: 這一塊的配置，就是基本的資料庫連結資訊，指定資料庫IP，埠，賬號密碼
  • --mysql-db=test_db --tables=20 --table_size=1000000: 這三個引數設定，表示指定測試的庫為test_db, 同時在這個庫中構建20個表，並且每個表中構建出 100萬條測試資料，表的名字會類似sbtest1,sbtest2這種格式
  • oltp_read_write: 表示執行oltp資料庫的讀寫測試
  • --db-ps-mode=disable: 禁止ps模式
  • prepare: 表示按照命令設定去構建出我們的資料，也就是對前面所有命令的執行方案

4. 全方位測試

1. 綜合讀寫測試

• 測試資料庫的綜合讀寫TPS,使用oltp_read_write模式

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable run

注意：命令最後不再是 之前的 prepare，這裡是 run ，表示執行壓測，前面的是準備資料

• 效果

• 上面是直接輸出到控制檯，我們也可以將其全部記錄在檔案中，通過管道，| tee /tmp/mysysbench.log整個命令如下：

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable run | tee /tmp/mysysbench.log

2. 只讀效能測試

• 測試資料庫的只讀效能，使用oltp_read_only模式，命令如下：

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_only --db-ps-mode=disable run

• 結果：

• 如果要輸出到檔案如上

3. 刪除效能測試

• 測試資料庫的刪除效能，使用模式：oltp_delete,命令如下：

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_delete --db-ps-mode=disable run

4. 更新索引欄位測試

• 測試資料庫的更新索引欄位的效能，使用模式：oltp_update_index, 命令如下：

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_update_index --db-ps-mode=disable run

5. 更新非索引欄位測試

• 測試資料庫中更新非索引欄位的效能，使用模式：oltp_update_non_index, 命令如下：

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_update_non_index --db-ps-mode=disable run

6. 插入效能測試

• 測試資料庫的資料插入效能，使用模式：oltp_insert,命令如下：

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_insert --db-ps-mode=disable run

7. 寫入效能測試

• 測試資料庫的寫入效能，使用模式：oltp_write_only, 命令如下：

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_write_only --db-ps-mode=disable run

8. 清理資料

• 前面命令進行了各種測試，在測試完之後我們可以通過下面的cleanup命令來清除構建的測試資料

sysbench --db-driver=mysql --time=300 --threads=10 --report-interval=1 --mysql-host=192.168.56.10 --mysql-port=3306 --mysql-user=root --mysql-password=root --mysql-db=test_db --tables=20 --table_size=1000000 oltp_read_write --db-ps-mode=disable cleanup

9. 壓測結果分析

• 通過上面的命令我們可以全方位的得到測試的結果，我們直接每個一秒輸出一次結果，在控制檯會輸出類似下面的東西：

[ 31s ] thds: 10 tps: 350.35 qps: 5575.50 (r/w/o: 4874.81/0.00/700.69) lat (ms,95%): 36.89 err/s: 0.00 reconn/s: 0.00

• 我們來解釋一下其中的含義，首先[31s]表示這是在第31秒的時候輸出的一段壓測統計結果，其他欄位如下：

  • thds:10: 表示當前有10個執行緒正在壓測
  • tps:350.35: 表示當前每秒執行了350.35個事務
  • qps:5575.50: 表示當前每秒可以執行5575.50個請求
  • (r/w/o: 4874.81/0.00/700.69): 表示在每秒5575.50個請求中，有4874.81個讀請求，0.00個寫請求，700.69個其他請求，其實就是對qps的細化
  • lat (ms,95%): 36.89：表示 95% 的請求的延遲都在36.89 毫秒以下
  • err/s: 0.00 reconn/s: 0.00：表示有0個請求失敗，發生了0次的網路重連

• 在壓測結束後會輸出一個總的壓測結果，如下：

• 其中的引數的解釋：

10. 常用監控命令

• 在壓測過程中我們要時刻關注伺服器的CPU、磁碟I/O、網路負載等資訊，一旦發現任何一個超出一定負荷，則不適合再繼續加大執行緒數來壓測了
• 一定要注意，壓測的過程是要保證機器各項指標在正常範圍內的最大負載，而不是我們不斷的增大sysbench的執行緒數，不關係其他指標，這樣即使機器每秒抗住了很高的qps,但是這時候的機器已經是滿負荷運行了，記憶體，cpu，網路頻寬等都幾乎被打滿，這種情況機器隨時可能掛掉，這時候的測壓就沒有什麼代表性了，因為你不可能在生產者讓它達到這樣的負荷

觀察 CPU 的的負荷

• 在Linux下最常見的命令就是top命令，可以輸出詳細的情況，如下：

• 對於上面的輸出，我們詳細來分析一下，首先看第一行的輸出

top - 16:24:21 up 13:41, 4 users, load average: 0.11, 3.10, 3.72

• 16:24:21: 表示當前的時間
• up 13:41：表示已經運行了多長時間
• 4 users：當前機器有幾個使用者在使用
• load average: 0.11, 3.10, 3.72：這是核心。表示CPU在 一分鐘、五分鐘、十五分鐘 內的平均負載情況，簡單解釋一下，假設我們是一個四核的CPU，此時如果我們的CPU負載是0.15，那麼表示這四個核心中連一個核心都沒使用滿，表明整體比較空閒；如果整個負載是1，則表示四個核中有一個已經使用的比較繁忙了，但是其他三個還是比較空閒的；如果負載是4，則說明當前四個核心都處於跑滿的狀態，如果負載大於四，假設6，那說明四核的CPU被超負荷使用也無法處理完當前的任務，有很多執行緒與要等待CPU資源
• 後面有記憶體的使用情況，

KiB Mem : 498684 total, 6216 free, 366620 used, 125848 buff/cache

• 498684 total： 總的記憶體，差不多490M
• 6216 free：當前可用記憶體，6M
• 366620 used：已使用記憶體
• 125848 buff/cache：用於IO緩衝的記憶體

磁碟IO檢測

• 在檢測CPU和記憶體使用的同時，我們還需要檢測磁碟的使用狀況，包括IO吞吐量，IOPS等資訊
• 主要通過dstat命令來檢視，如果系統沒有裝可以通過yum install dstat進行安裝
• 執行dstat -d命令，可以看到如下：

上面顯示的記憶體可以看到儲存的IO吞吐量的詳細資料，每秒讀19M資料，每秒寫6521K的資料，這個吞吐量並不是很高，一般普通的機械硬碟可以到達上百MB的讀寫量

• 使用命令dstat -r來檢視IOPS的情況，如下：

如上面結果可以看到，讀寫分別的IOPS的值，也就是說隨即磁碟讀取/寫入每秒多少次，通常來說磁碟的讀寫每秒在兩三百次是可接受的

網絡卡流量檢測

• 同樣我們可以通過dstat -n來檢視網絡卡的具體流量情況，如下：

可以看到上面所示，網絡卡每秒接收和傳送的資料量。通常來說如果我們電腦是千兆網絡卡，那麼每秒鐘網絡卡的總流量也就在100M左右，甚至更低