效能測試

一、測試背景

1、機器配置和版本

機器配置（下面測試qps資料都是以本機器配置為準）

型號：Dell s3710
磁碟：SSD 3T
CPU:32
記憶體：128G

MySQL版本：5.7.22
gh-ost版本：1.0.46
pt-osc版本：3.0.12

2、資料準備和業務模擬

----插入1000萬條資料,表大小約2G--
sysbench   --mysql-user=darren --mysql-password=darren --mysql-host=10.126.126.164 --mysql-port=3306 --test=tests/db/oltp.lua \
           --oltp_tables_count=1 --oltp-table-size=10000000 --rand-init=on prepare

----64個併發執行緒模擬SQL----
sysbench   --mysql-user=darren --mysql-password=darren  --mysql-host=10.126.126.164 --mysql-port=3306 --test=tests/db/oltp.lua \
           --oltp-reconnect-mode=transaction --oltp_tables_count=1 --oltp-table-size=10000000 --num-threads=64 --oltp-read-only=off \
           --report-interval=10 --rand-type=uniform --max-time=6000 --max-requests=0  run
 

二、效能測試

1、測試工具命令

-----------------------------------------gh-ost-------------------------------------------
    time gh-ost \
       --max-load=Threads_running=70 \
       --critical-load=Threads_running=80 \
       --chunk-size=1000  \
       --dml-batch-size=100 \
       --initially-drop-old-table \
       --initially-drop-ghost-table \
       --initially-drop-socket-file \
       --ok-to-drop-table \
       --host="10.126.126.164" \
       --port=3306 \
       --user="darren" \
       --password="darren" \
       --assume-rbr \
       --allow-on-master \
       --assume-master-host=10.126.126.164:3306 \
       --database="sbtest" \
       --table="sbtest1" \
       --alter="drop primary key" \   
       --panic-flag-file=/tmp/ghost.panic.flag \
       --serve-socket-file=/tmp/ghost.sock \
       --verbose \
       --execute

-----------------------------------------pt-osc-------------------------------------------
time pt-online-schema-change \
    --user=darren \
    --password=darren \
    --port=3306 \
    --host=10.126.126.164 \
    --alter "engine=innodb" \
    D=sbtest,t=sbtest1 \
    --max-load="Threads_running=70"  \
    --critical-load="Threads_running=80" \
    --execute
 

2、單表高負載測試(64個併發執行緒，寫入QPS：26927)

3、單表正常負載測試(4個併發執行緒以下，寫入QPS5000以下)

【注】

經過測試：當寫入QPS5000以上，gh-ost無法完成任務，其原因是apply binlog是單執行緒，可以理解為slave，當原表寫入量巨大時(QPS=5000以上)，
一直在應用日誌，而gh-ost設計是binlog應用優先順序高於row copy，所以我們看到row copy進度一直沒變，這樣如果原表一直壓力這麼大，那麼gh-ost DDL將無法完成。
經過在s3710機器上測試如果原表寫入的QPS大於5000將大概率出現此情況，小於5000的話沒問題。

Copy: 0/9705089 0.0%; Applied: 183480; Backlog: 1000/1000; Time: 1m24s(total), 1m24s(copy); streamer: tjtx-126-164.001588:441763689; 
Copy: 0/9705089 0.0%; Applied: 185490; Backlog: 1000/1000; Time: 1m25s(total), 1m25s(copy); streamer: tjtx-126-164.001588:442986068; 
Copy: 0/9705089 0.0%; Applied: 207590; Backlog: 1000/1000; Time: 1m30s(total), 1m30s(copy); streamer: tjtx-126-164.001588:455843331;

三、各個工具優缺點對比

四、建議的DDL方案

1、MySQL5.5版本DDL方案

MySQL5.5版本online ddl功能不完善，建議全部使用PT-OSC工具進行

2、MySQL5.6和5.7版本DDL方案

3、MySQL8.0版本DDL方案