初試GH-OST(轉)
最近老板讓做一個gh-ost和pt-osc 的對比測試,本文將對兩者做對比。
一。原理和所用說明
PT-OSC | GH-OST | |
原理 |
1.創建一個和要執行 alter 操作的表一樣的新的空表結構(是alter之前的結構) |
1.在變更的服務器上 創建 ghost table( _tbname_gho like tbname) 其中有2種常用用法: |
使用限制 |
1.原表必須要有主鍵或者唯一索引(不含NULL) |
1.原表必須要有主鍵或者唯一索引(不含NULL) |
重要參數說明 |
--max-load,默認threads_running=25,可以指定多個指標來限速,每個chunk拷貝完會檢查,超過閥值會暫停復制。如果不指定該參數,工具會檢查當前運行值並增加20% --max-lag,默認1s,如果發現延遲大於該值,則暫停復制數據。 --check-interval,配合max-lag使用,檢查從庫超過延時後,該工具睡眠多久 --recursion-method,指定從庫的發現機制,processlist,dsn,none 等 --chunk-time,默認0.5秒,拷貝數據行的時候為了保證0.5秒內拷貝完一個chunk,動態調整下一次chunk-size的大小 --[no]check-replication-filters,如果工具檢查到服務器選項中有任何復制相關的篩選,工具會報錯退出,默認為yes --chunk-size,指定塊大小,默認1000行。 |
--max-load=Threads_running=25 表面如果在執行gh-ost的過程中出現Threads_running=25則暫停gh-ost的執行 |
優點 | 1.執行速度快,業界使用比較廣泛,較穩定 |
1.讀binlog可以放在從庫執行,減少主庫的壓力 |
風險點 |
1.需要創建觸發器,對原表有改動 |
1.當系統負載極高時,gh-ost有可能無法跟上binlog日誌的處理(未測試過該場景) |
運行命令實例 | pt-online-schema-change --user=db_monitor --password=xxx --host=127.0.0.1 --port=xxx --alter "add COLUMN c2 varchar (120) not null default ‘‘" D=sbtest,t=sbtest1 --no-check-replication-filters --alter-foreign-keys-method=auto --recursion-method=none --print --execute | ./gh-ost --assume-master-host=ip:port --master-user=db_monitor --master-password=xxx --user=db_monitor --password=yyy --host=10.xxx --port=port --alter="ADD COLUMN c2 varchar(120)" --database=sbtest --table="sbtest1" -execute --initially-drop-old-table --initially-drop-socket-file --initially-drop-ghost-table |
二,性能測試對比
1. 測試場景
16core CPU,2G buffer pool的測試實例,5.5的MySQL版本異步主從,2kw行記錄,4.8GB 測試表大小
2. 測試結果(不限速),復制延時用zabbix 監控seconds behind master 的值
3. 結果展示
三, 最後說一下GH-OST的 cut over
gh-ost利用了MySQL的一個特性,就是原子性的rename請求,在所有被blocked的請求中,優先級永遠是最高的。
gh-ost基於此設計了該方案:一個連接對原表加鎖,另啟一個連接嘗試rename操作,此時會被阻塞住,當釋放lock的時候,rename會首先被執行,其他被阻塞的請求會繼續應用到新表。
參考資料:
https://github.com/github/gh-ost
https://m.aliyun.com/yunqi/articles/62928
http://www.tabdba.com/?p=175
初試GH-OST(轉)