Linux 第74天 mariadb高可用
Linux 第74天 mariadb高可用
時間: 20181016
個人小站: www.winthcloud.top
目錄
mariadb高可用目的
MHA和Galera
MHA原理和配置
Galera Cluster特性和配置
MYSQL壓力測試
生產環境my.cnf配置示例
總結
mariadb高可用
上邊講的主從雖然可以實現讀寫分離，但是當主的如果出現故障，即用來執行寫入的伺服器出
現問題時，線上還是無法實現自動恢復，即會影響線上服務的正常執行，這裡提出的高可以即
可實現多臺主機同時為主，主伺服器出現問題不會影響線上服務的正常執行，其它的伺服器依
然可以執行寫操作MMM是一個非常古老的專案，很長時間沒有更新了，MHA相對較新一些，但是
也是有點老了，而且出現故障時只能執行一次切換主從，Galera Cluster是有專門的人員來
維護的專案，新專案上線建議使用此種，個人未測試過哈哈
MMM: Multi-Master Replication Manager for MySQL
Mysql主主複製管理器是一套靈活的指令碼程式，基於perl實現，用來對mysql
replication進行監控和故障遷移，並能管理mysql Master-Master複製的配置
(同一時間只有一個節點是可寫的)
https://code.google.com/archive/p/mysql-master-master/downloads
MHA： Master High Availability
對主節點進行監控，可實現自動故障轉移至其它從節點；通過提升某一從節點為新的主
節點，基於主從複製實現，還需要客戶端配合實現，目前MHA主要支援一主多從的架構
要搭建MHA,要求一個複製叢集中必須最少有三臺資料庫伺服器，一主二從，即一臺充當
master，一臺充當備用master，另外一臺充當從庫，出於機器成本的考慮，淘寶進行
了改造，目前淘寶TMHA已經支援一主一從
官網:https://code.google.com/archive/p/mysql-master-ha/
Galera Cluster：wsrep(MySQL extended with the Write Set Replication)
通過wsrep協議在全域性實現複製；任何一節點都可讀寫，不需要主從複製，實現多主讀寫
MHA原理和配置
MHA工作原理
1 從宕機崩潰的master儲存二進位制日誌事件（binlog events）
2 識別含有最新更新的slave
3 應用差異的中繼日誌（relay log）到其他的slave
4 應用從master儲存的二進位制日誌事件（binlog events）
5 提升一個slave為新的master
6 使其他的slave連線新的master進行復制
MHA軟體由兩部分組成，Manager工具包和Node工具包
Manager工具包主要包括以下幾個工具：
masterha_check_ssh 檢查MHA的SSH配置狀況
masterha_check_repl 檢查MySQL複製狀況
masterha_manger 啟動MHA
masterha_check_status 檢測當前MHA執行狀態
masterha_master_monitor 檢測master是否宕機
masterha_master_switch 故障轉移（自動或手動）
masterha_conf_host 新增或刪除配置的server資訊
Node工具包：這些工具通常由MHA Manager的指令碼觸發，無需人為操作
主要包括以下幾個工具：
save_binary_logs 儲存和複製master的二進位制日誌
apply_diff_relay_logs 識別差異的中繼日誌事件並將其
差異的事件應用於其他的slave
filter_mysqlbinlog 去除不必要的ROLLBACK事件（MHA已不再使用此工具）
purge_relay_logs 清除中繼日誌（不會阻塞SQL執行緒）
注意：為了儘可能的減少主庫硬體損壞宕機造成的資料丟失，因此在配置MHA的同
時建議配置成MySQL 5.5的半同步複製
自定義擴充套件：
secondary_check_script： 通過多條網路路由檢測master的可用性
master_ip_ailover_script： 更新Application使用的masterip
shutdown_script： 強制關閉master節點
report_script： 傳送報告
init_conf_load_script： 載入初始配置引數
master_ip_online_change_script：更新master節點ip地址
配置檔案：
global配置，為各application提供預設配置
application配置：為每個主從複製叢集
在管理節點上安裝兩個包：
mha4mysql-manager
mha4mysql-node
在被管理節點安裝：
mha4mysql-node
在管理節點建立配置檔案(注意叢集的每個伺服器和MHA伺服器之間使用ssh基於key通訊)
vim /etc/mastermha/app1.cnf
[server default]
user=mhauser # 資料庫監控使用者名稱
password=mhapass # 資料庫監控密碼
manager_workdir=/data/mastermha/app1/
manager_log=/data/mastermha/app1/manager.log
remote_workdir=/data/mastermha/app1/ #主mysql binlog目錄
ssh_user=root # ssh基於key驗證的使用者名稱
repl_user=repluser # 主從同步時用的使用者名稱和密碼
repl_password=replpass
ping_interval=1
[server1] #資料庫節點IP以及將要成為主節點的優先順序
hostname=192.168.8.17
candidate_master=1
# 設定為候選master，如果設定該引數以後，發生主從切換以後將會將此從庫提升
# 為主庫，即使這個主庫不是叢集中事件最新的slave
check_repl_delay=0
# 預設情況下如果一個slave落後master 100M的relay logs的話，MHA將不
# 會選擇該slave作為一個新的master，因為對於這個slave的恢復需要花費
# 很長時間，通過設定check_repl_delay=0,MHA觸發切換在選擇一個新的
# master的時候將會忽略複製延時，這個引數對於設定了candidate_master=1
# 的主機非常有用，因為這個候選主在切換的過程中一定是新的master
[server2]
hostname=192.168.8.27
[server3]
hostname=192.168.8.37
實現slave
vim /etc/my.cnf
[mysqld]
server_id=2 不同節點此值各不相同
log-bin
read_only
relay_log_purge=0
skip_name_resolve=1
mysql>CHANGE MASTER TO MASTER_HOST='master-IP',
MASTER_USER='cpuser',
MASTER_PASSWORD='cppass',
MASTER_LOG_FILE='mariadb-bin.000001',
MASTER_LOG_POS=245;
所有mysql叢集共同需要的配置
新增監控使用者，即MHA服務訪問資料庫的使用者
新增複製使用者，每個節點都需要，從節點也需要，因為有可能會被切換為主
並且複製使用者賬號密碼需要相同
在所有節點實現相互之間ssh key驗證
Mha驗證和啟動
masterha_check_ssh --conf=/etc/mastermha/app1.cnf
masterha_check_repl --conf=/etc/mastermha/app1.cnf
masterha_manager --conf=/etc/mastermha/app1.cnf
排錯日誌：
/data/mastermha/app1/manager.log
Galera Cluster
集成了Galera外掛的MySQL叢集，是一種新型的，資料不共享的，高度冗餘的高可用方案，
目前Galera Cluster有兩個版本，分別是Percona Xtradb Cluster及MariaDB Cluster，
Galera本身是具有多主特性的，即採用multi-master的叢集架構，是一個既穩健，又在數
據一致性、完整性及高效能方面有出色表現的高可用解決方案
三個節點組成了一個叢集，與普通的主從架構不同，它們都可以作為主節點，三個節點是對
等的，稱為multi-master架構，當有客戶端要寫入或者讀取資料時，連線哪個例項都是一
樣的，讀到的資料是相同的，寫入某一個節點之後，叢集自己會將新資料同步到其它節點上
面，這種架構不共享任何資料，是一種高冗餘架構
Galera Cluster特點
多主架構：真正的多點讀寫的叢集，在任何時候讀寫資料，都是最新的
同步複製：叢集不同節點之間資料同步，沒有延遲，在資料庫掛掉之後，資料不會丟失
併發複製：從節點APPLY資料時，支援並行執行，更好的效能
故障切換：在出現資料庫故障時，因支援多點寫入，切換容易
熱插拔：在服務期間，如果資料庫掛了，只要監控程式發現的夠快，不可服務時間就
會非常少。在節點故障期間，節點本身對叢集的影響非常小
自動節點克隆：在新增節點，或者停機維護時，增量資料或者基礎資料不需要人工手
動備份提供，Galera Cluster會自動拉取線上節點資料，最終叢集會變為一致
對應用透明：叢集的維護，對應用程式是透明的
Galera Cluster包括兩個元件
Galera replication library (galera-3)
WSREP：MySQL extended with the Write Set Replication
WSREP複製實現：
percona-cluster
MariaDB-Cluster
注意：都至少需要三個節點，不能安裝mariadb-server
配置步驟
yum install MariaDB-Galera-server
vim /etc/my.cnf.d/server.cnf
wsrep_provider = /usr/lib64/galera/libgalera_smm.so
wsrep_cluster_address="gcomm://192.168.8.7,192.168.8.17,192.168.8.27"
binlog_format=row
default_storage_engine=InnoDB
innodb_autoinc_lock_mode=2
bind-address=0.0.0.0
下面配置可選項
wsrep_cluster_name = 'mycluster'預設my_wsrep_cluster
wsrep_node_name = 'node1'
wsrep_node_address = ‘192.168.8.7'
首次啟動時，需要初始化叢集，在其中一個節點上執行命令
/etc/init.d/mysql start --wsrep-new-cluster
而後正常啟動其它節點
service mysql start
檢視叢集中相關係統變數和狀態變數
SHOW VARIABLES LIKE 'wsrep_%';
SHOW STATUS LIKE 'wsrep_%';
SHOW STATUS LIKE 'wsrep_cluster_size';
MYSQL壓力測試
Mysqlslap：來自於mariadb包，測試的過程預設生成一個mysqlslap的schema,生成測
試表t1，查詢和插入測試資料，mysqlslap庫自動生成，如果已經存在則先刪除。用
--only-print來列印實際的測試過程，整個測試完成後不會在資料庫中留下痕跡
使用格式：mysqlslap [options]
常用引數 [options] 說明：
--auto-generate-sql, -a 自動生成測試表和資料，表示用mysqlslap工具自己
生成的SQL指令碼來測試併發壓力
--auto-generate-sql-load-type=type 測試語句的型別。代表要測試的
環境是讀操作還是寫操作還是兩者混合的。取值包括：read，key，write，
update和mixed(預設)
--auto-generate-sql-add-auto-increment 代表對生成的表自動新增
auto_increment列 從5.1.18版本開始支援
--number-char-cols=N, -x N 自動生成的測試表中包含多少個字元型別的列，預設1
--number-int-cols=N, -y N 自動生成的測試表中包含多少個數字型別的列，預設1
--number-of-queries=N 總的測試查詢次數(併發客戶數×每客戶查詢次數)
--query=name,-q 使用自定義指令碼執行測試，例如可以呼叫自定義的存
儲過程或者sql語句來執行測試
--create-schema 代表自定義的測試庫名稱，測試的schema
--commint=N 多少條DML後提交一次
--compress, -C 如伺服器和客戶端都支援壓縮，則壓縮資訊
--concurrency=N, -c N 表示併發量，即模擬多少個客戶端同時執行select。
可指定多個值，以逗號或者--delimiter引數指定值做為分隔符
如：--concurrency=100,200,500
--engine=engine_name, -e engine_name 代表要測試的引擎，可以有多個，
用分隔符隔開。例如：--engines=myisam,innodb
--iterations=N, -i N 測試執行的迭代次數，代表要在不同併發環境下，
各自執行測試多少次
--only-print 只打印測試語句而不實際執行。
--detach=N 執行N條語句後斷開重連
--debug-info, -T 列印記憶體和CPU的相關資訊
單執行緒測試
mysqlslap -a -uroot -pwinth
多執行緒測試。使用–concurrency來模擬併發連線
mysqlslap -a -c 100 -uroot -prootps
迭代測試。用於需要多次執行測試得到平均值
mysqlslap -a -i 10 -uroot -prootps
mysqlslap ---auto-generate-sql-add-autoincrement -a
mysqlslap -a --auto-generate-sql-load-type=read
mysqlslap -a --auto-generate-secondary-indexes=3
mysqlslap -a --auto-generate-sql-write-number=1000
mysqlslap --create-schema world -q "select count(*) from City”
mysqlslap -a -e innodb -uroot -prootps
mysqlslap -a --number-of-queries=10 -uroot -prootps
測試同時不同的儲存引擎的效能進行對比
mysqlslap -a --concurrency=50,100 --number-of-queries 1000
--iterations=5 --engine=myisam,innodb --debug-info -uroot -ppass
執行一次測試，分別50和100個併發，執行1000次總查詢
mysqlslap -a --concurrency=50,100 --number-of-queries 1000
--debug-info -uroot -ppass
50和100個併發分別得到一次測試結果(Benchmark)，併發數越多，執行完所有查詢的
時間越長。為了準確起見，可以多迭代測試幾次
mysqlslap -a --concurrency=50,100 --number-of-queries 1000
--iterations=5 --debug-info -uroot -ppass
生產環境my.cnf配置示例
innodb_file_per_table = 1 開啟獨立表空間
max_connections = 8000
#MySQL 服務所允許的同時會話數的上限，經常出現Too Many
Connections的錯誤提示，則需要增大此值
back_log = 300
#back_log 是作業系統在監聽佇列中所能保持的連線數
max_connect_errors = 1000
#每個客戶端連線最大的錯誤允許數量，當超過該次數，MYSQL伺服器將禁止此主機
的連線請求，直到MYSQL伺服器重啟或通過flush hosts命令清空此主機的相關資訊
open_files_limit = 10240
#所有執行緒所開啟表的數量
max_allowed_packet = 32M
#每個連線傳輸資料大小.最大1G，須是1024的倍數，一般設為最大的BLOB的值
wait_timeout = 10
#指定一個請求的最大連線時間
sort_buffer_size = 16M
# 排序緩衝被用來處理類似ORDER BY以及GROUP BY佇列所引起的排序
join_buffer_size = 16M
#不帶索引的全表掃描.使用的buffer的最小值
query_cache_size = 128M
#查詢緩衝大小
query_cache_limit = 4M
#指定單個查詢能夠使用的緩衝區大小，預設為1M
transaction_isolation = REPEATABLE-READ
# 設定預設的事務隔離級別
thread_stack = 512K
# 執行緒使用的堆大小. 此值限制記憶體中能處理的儲存過程的遞迴深度和SQL語句復
雜性，此容量的記憶體在每次連線時被預留.
log-bin # 二進位制日誌功能
binlog_format=row #二進位制日誌格式
innodb_buffer_pool_size = 24G
#InnoDB使用一個緩衝池來儲存索引和原始資料,
可設定這個變數到伺服器實體記憶體大小的80%
innodb_file_io_threads = 4
#用來同步IO操作的IO執行緒的數量
innodb_thread_concurrency = 16
#在InnoDb核心內的允許執行緒數量，建議的設定是CPU數量加上磁碟數量的兩倍
innodb_log_buffer_size = 16M
# 用來緩衝日誌資料的緩衝區的大小
innodb_log_file_size = 512M
在日誌組中每個日誌檔案的大小
innodb_log_files_in_group = 3
# 在日誌組中的檔案總數
innodb_lock_wait_timeout = 120
# SQL語句在被回滾前,InnoDB事務等待InnoDB行鎖的時間
long_query_time = 2
#慢查詢時長
log-queries-not-using-indexes
#將沒有使用索引的查詢也記錄下來
總結
1. MHA配置裡remote_workdir此一定要配置正確，是要配置為主mysql的binlog日誌目錄
2. MHA配置[server2] 數值一定要不一樣，設定成同一個會報奇怪的錯誤，指令碼年代太老
3. MHA不能安裝在任何一個mysql叢集節點上，因為要監控他們，如果安裝在上邊並且
這臺機器不幸宕機了，你的MHA也就掛掉了,切記切記！！！