2. 程式人生 > >mysql之MHA架構

mysql之MHA架構

阿新 • • 發佈：2018-08-08
mes width 日常 谷歌 log-bin height mha ould hup

角色

Ip地址

主機名

Server id

類型

master

192.168.1.131

master1

1

主（寫）

Master（candicate）

192.168.1.132

Master2

2

從（讀）

Slave

192.168.1.133

Slave1

3

從（讀）

Manager

192.168.1.134

Manager


管理節點

準備基礎環境：

1.在配置好 IP 地址後檢查 selinux，iptables 設置，關閉 selinux ，iptables 服務以便後期主從同步不出錯，時間要同步

2. 在四臺機器上配置epelyum和用到perl包

[root@master1 ~]# yum -y install epel-rpm-macros.noarch

[root@master1 ~]# yum -y install perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-ForkManager perl-Config-IniFiles ncftp perl-Params-Validate perl-CPAN perl-Test-Mock-LWP.noarch perl-LWP-Authen-Negotiate.noarch perl-devel perl-ExtUtils-CBuilder perl-ExtUtils-MakeMaker

3. 配置hosts環境

[root@master1 ~]# vim /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.1.131 master1

192.168.1.132 master2

192.168.1.133 slave1

192.168.1.134 manager

[root@master1 ~]# for i in master2 slave1 manager; do scp /etc/hosts $i:/etc/ ;done

4. 建立ssh交互登錄環境，四臺都要做

[root@master1 ~]# ssh-keygen -t rsa

[root@master1 ~]# for i in master1 master2 slave1 manager ;do ssh-copy-id -i ~/.ssh/id_rsa.pub $i;done

配置mysql的半同步復制

為了盡可能的減少主庫硬件損壞宕機造成的數據丟失，因此在配置 MHA 的同時建議配置成MySQL 的半同步復制。

註：mysql 半同步插件是由谷歌提供，具體位置/usr/local/mysql/lib/plugin/下，一個是 master

用的 semisync_master.so，一個是 slave 用的 semisync_slave.so，下面我們就來具體配置一下。如果不清楚 Plugin 的目錄，用如下查找：

mysql> show variables like '%plugin_dir%';

+---------------+------------------------------+

| Variable_name | Value |

+---------------+------------------------------+

| plugin_dir | /usr/local/mysql/lib/plugin/ |

+---------------+------------------------------+

1 row in set (0.01 sec)

1、 分別在主從節點上安裝相關的插件（master, Candicate master,slave）

在 MySQL 上安裝插件需要數據庫支持動態載入。檢查是否支持，用如下檢測

mysql> show variables like '%have_dynamic_loading%';

+----------------------+-------+

| Variable_name | Value |

+----------------------+-------+

| have_dynamic_loading | YES |

+----------------------+-------+

所有 mysql 數據庫服務器，安裝半同步插件(semisync_master.so,semisync_slave.so)

mysql> install plugin rpl_semi_sync_master soname 'semisync_master.so';

mysql> install plugin rpl_semi_sync_slave soname 'semisync_slave.so';

檢查 Plugin 是否已正確安裝：

mysql> show plugins;

| partition | ACTIVE | STORAGE ENGINE | NULL | GPL |

| ARCHIVE | ACTIVE | STORAGE ENGINE | NULL | GPL |

| FEDERATED | DISABLED | STORAGE ENGINE | NULL | GPL |

| ngram | ACTIVE | FTPARSER | NULL | GPL |

| rpl_semi_sync_master | ACTIVE | REPLICATION | semisync_master.so | GPL |

| rpl_semi_sync_slave | ACTIVE | REPLICATION | semisync_slave.so | GPL |

+----------------------------+----------+--------------------+--------------------+---------+

或

mysql> select * from information_schema.plugins;

查看半同步相關信息

mysql> show variables like '%rpl_semi_sync%';

+-------------------------------------------+------------+

| Variable_name | Value |

+-------------------------------------------+------------+

| rpl_semi_sync_master_enabled | OFF |

| rpl_semi_sync_master_timeout | 10000 |

| rpl_semi_sync_master_trace_level | 32 |

| rpl_semi_sync_master_wait_for_slave_count | 1 |

| rpl_semi_sync_master_wait_no_slave | ON |

| rpl_semi_sync_master_wait_point | AFTER_SYNC |

| rpl_semi_sync_slave_enabled | OFF |

| rpl_semi_sync_slave_trace_level | 32 |

+-------------------------------------------+------------+

2. 修改mysql配置文件，設置主從同步

[root@master1 ~]# vim /etc/my.cnf

server-id = 1

log-bin=mysql-bin

binlog_format=mixed

log-bin-index=mysql-bin.index

rpl_semi_sync_master_enabled=1

rpl_semi_sync_master_timeout=1000

rpl_semi_sync_slave_enabled=1

relay_log_purge=0

relay-log = relay-bin

relay-log-index = slave-relay-bin.index

rpl_semi_sync_master_enabled=1 1 表是啟用，0 表示關閉

rpl_semi_sync_master_timeout=10000：毫秒單位 ，該參數主服務器等待確認消息 10 秒後，

不再等待，變為異步方式。

[root@master2 ~]# vim /etc/my.cnf

server-id = 2

log-bin=mysql-bin

binlog_format=mixed

log-bin-index=mysql-bin.index

relay_log_purge=0

relay-log = relay-bin

relay-log-index = slave-relay-bin.index

rpl_semi_sync_master_enabled=1

rpl_semi_sync_master_timeout=10000

rpl_semi_sync_slave_enabled=1

註：relay_log_purge=0，禁止 SQL 線程在執行完一個 relay log 後自動將其刪除，對於 MHA

場景下，對於某些滯後從庫的恢復依賴於其他從庫的 relay log，因此采取禁用自動刪除功能

[root@slave1 ~]# vim /etc/my.cnf

Server-id = 3

log-bin = mysql-bin

relay-log = relay-bin

relay-log-index = slave-relay-bin.index

read_only = 1

rpl_semi_sync_slave_enabled=1

在master上查看半同步相關信息

mysql> show variables like '%rpl_semi_sync%';

技術分享圖片

查看半同步狀態：

mysql> show status like '%rpl_semi_sync%';

技術分享圖片

rpl_semi_sync_master_status ：顯示主服務是異步復制模式還是半同步復制模式

rpl_semi_sync_master_clients ：顯示有多少個從服務器配置為半同步復制模式

rpl_semi_sync_master_yes_tx ：顯示從服務器確認成功提交的數量

rpl_semi_sync_master_no_tx ：顯示從服務器確認不成功提交的數量

rpl_semi_sync_master_tx_avg_wait_time ：事務因開啟 semi_sync ，平均需要額外等待的時間

rpl_semi_sync_master_net_avg_wait_time ：事務進入等待隊列後，到網絡平均等待時間

主從同步

Master1主機

mysql> grant replication slave on *.* to rep@'192.168.1.%' identified by '123';

mysql> grant all privileges on *.* to manager@'192.168.1.%' identified by '123';

mysql> show master status;

技術分享圖片

第一條 grant 命令是創建一個用於主從復制的帳號，在 master 和 candicate master 的主機上創建即可。

第二條 grant 命令是創建 MHA 管理賬號，所有 mysql 服務器上都需要執行。MHA 會在配置文件裏要求能遠程登錄到數據庫，所以要進行必要的賦權。

Master2主機

mysql> grant replication slave on *.* to rep@'192.168.1.%' identified by '123';

mysql> grant all privileges on *.* to manager@'192.168.1.%' identified by '123';

mysql> change master to master_host='192.168.1.131',master_port=3306,master_user='rep',master_password='123',master_log_file='mysql-bin.000001',master_log_pos=739;

mysql> start slave;

mysql> show slave slave;

技術分享圖片

Slave1主機

mysql> grant all privileges on *.* to manager@'192.168.1.%' identified by '123';

mysql> change master to master_host='192.168.1.131',master_port=3306,master_user='rep',master_password='123',master_log_file='mysql-bin.000001',master_log_pos=739;

mysql> start slave;

mysql> show slave status\G;

技術分享圖片

查看 master1 服務器的半同步狀態

mysql> show status like '%rpl_semi_sync%';

技術分享圖片

配置mysql-mha

在所有數據庫節點上安裝 mha4mysql-node-0.56.tar.gz

[root@master1 ~]# tar zxf mha4mysql-node-0.56.tar.gz

[root@master1 ~]# cd mha4mysql-node-0.56/

[root@master1 mha4mysql-node-0.56]# perl Makefile.PL

[root@master1 mha4mysql-node-0.56]# make &&make install

其他兩個數據節點也安裝 mha4mysql-node-0.56.tar.gz（過程略）

在管理節點需要兩個都安裝：mha4mysql-node-0.56.tar.gz 和 mha4mysql-manager-0.56.tar.gz

[root@manager ~]# tar zxf mha4mysql-node-0.56.tar.gz

[root@manager ~]# cd mha4mysql-node-0.56/

[root@manager mha4mysql-node-0.56]# perl Makefile.PL

[root@manager mha4mysql-node-0.56]# make && make install

[root@manager mha4mysql-node-0.56]# cd

[root@manager ~]# tar zxf mha4mysql-manager-0.56.tar.gz

[root@manager ~]# cd mha4mysql-manager-0.56/

[root@manager mha4mysql-manager-0.56]# perl Makefile.PL

[root@manager mha4mysql-manager-0.56]# make &&make install

[root@manager mha4mysql-manager-0.56]# mkdir /etc/masterha

[root@manager mha4mysql-manager-0.56]# mkdir -p /masterha/app1

[root@manager mha4mysql-manager-0.56]# mkdir /scripts

[root@manager mha4mysql-manager-0.56]# cp samples/conf/* /etc/masterha/

[root@manager mha4mysql-manager-0.56]# cp samples/scripts/* /scripts/

[root@manager mha4mysql-manager-0.56]# vim /etc/masterha/app1.cnf

[server default]

manager_workdir=/masterha/app1

manager_log=/masterha/app1/manager.log

user=manager

password=123

ssh_user=root

repl_user=rep

repl_password=123

ping_interval=1

[server1]

hostname=192.168.1.131

port=3306

master_binlog_dir=/usr/local/mysql/data

candidate_master=1

[server2]

hostname=192.168.1.132

port=3306

master_binlog_dir=/usr/local/mysql/data

candidate_master=1

[server3]

hostname=192.168.1.133

port=3306

master_binlog_dir=/usr/local/mysql/data

no_master=1

保存退出

[root@manager mha4mysql-manager-0.56]# > /etc/masterha/masterha_default.cnf

manager_workdir=/masterha/app1 //設置 manager 的工作目錄

manager_log=/masterha/app1/manager.log //設置 manager 的日誌

user=manager //設置監控用戶 manager

password=123456 //監控用戶 manager 的密碼

ssh_user=root //ssh 連接用戶

repl_user=mharep //主從復制用戶

repl_password=123.abc //主從復制用戶密碼

ping_interval=1 //設置監控主庫，發送 ping 包的時間間隔，默認是 3 秒，嘗試三次沒有回

應的時候自動進行 railover

master_binlog_dir=/usr/local/mysql/data //設置 master 保存 binlog 的位置，以便 MHA 可

以找到 master 的日誌，我這裏的也就是 mysql 的數據目錄

candidate_master=1 //設置為候選 master，如果設置該參數以後，發生主從切換以後將會

將此從庫提升為主庫。

ssh有效性驗證：

[root@manager mha4mysql-manager-0.56]# masterha_check_ssh --global_conf=/etc/masterha/masterha_default.cnf --conf=/etc/masterha/app1.cnf

正確顯示結果沒有報錯

技術分享圖片

集群復制的有效性驗證（mysql必須都啟動）：

[root@manager mha4mysql-manager-0.56]# masterha_check_repl --global_conf=/etc/masterha/masterha_default.cnf --conf=/etc/masterha/app1.cnf

命令執行完最後報錯的地方

技術分享圖片

解決辦法在所有服務器上執行：

[root@manager mha4mysql-manager-0.56]# ln -s /usr/local/mysql/bin/* /usr/local/bin/

技術分享圖片

啟動manger

[root@manager ~]# nohup masterha_manager --conf=/etc/masterha/app1.cnf &> /tmp/mha_mager.log &

[1] 1319

狀態檢查

[root@manager ~]# masterha_check_status --conf=/etc/masterha/app1.cnf

app1 (pid:1319) is running(0:PING_OK), master:192.168.1.131

故障轉移驗證：

1. 停掉master1

[root@master1 mha4mysql-node-0.56]# service mysqld stop

2. 查看MHA日誌

[root@manager ~]# tail -f /masterha/app1/manager.log

技術分享圖片

3. 登錄slave1的mysql查看slave狀態

mysql> show slave status\G;

技術分享圖片

MHA Manager 端日常主要操作步驟

1）檢查是否有下列文件，有則刪除。

發生主從切換後，MHAmanager 服務會自動停掉，且在 manager_workdir（/masterha/app1）

目錄下面生成文件 app1.failover.complete，若要啟動 MHA，必須先確保無此文件)

[root@manager ~]# ll /masterha/app1/

total 24

-rw-r--r-- 1 root root 0 Aug 8 02:02 app1.failover.complete

-rw-r--r-- 1 root root 20955 Aug 8 02:02 manager.log

[root@manager ~]# rm -rf /masterha/app1/app1.failover.complete

2）檢查 MHA 復制檢查：（需要把 master1 設置成 candicatade 的從服務器）

mysql> CHANGE MASTER TO MASTER_HOST='192.168.1.132', MASTER_PORT=3306, MASTER_LOG_FILE='mysql-bin.000002', MASTER_LOG_POS=739, MASTER_USER='rep', MASTER_PASSWORD='123';

mysql> start slave;

技術分享圖片

3）停止 MHA： masterha_stop --conf=/etc/masterha/app1.cnf

4）啟動 MHA：

#nohup masterha_manager --conf=/etc/masterha/app1.cnf &>/tmp/mha_manager.log &

當有 slave 節點宕掉時，默認是啟動不了的，加上 --ignore_fail_on_start 即使有節點宕掉也

能啟動 MHA，如下：

#nohup masterha_manager --conf=/etc/masterha/app1.cnf --ignore_fail_on_start

&>/tmp/mha_manager.log &

5） 檢查狀態：

# masterha_check_status --conf=/etc/masterha /app1.cnf

6） 檢查日誌：

#tail -f /masterha/app1/manager.log

7）主從切換後續工作

重構：

重構就是你的主掛了，切換到 Candicate master 上，Candicate master 變成了主，因此重構的一種方案原主庫修復成一個新的 slave主庫切換後，把原主庫修復成新從庫，然後重新執行以上 5 步。原主庫數據文件完整的情況下，可通過以下方式找出最後執行的 CHANGE MASTER 命令：

[root@manager ~]# grep "CHANGE MASTER TO MASTER" /masterha/app1/manager.log | tail -1

Wed Aug 8 02:02:40 2018 - [info] All other slaves should start replication from here. Statement should be: CHANGE MASTER TO MASTER_HOST='192.168.1.132', MASTER_PORT=3306, MASTER_LOG_FILE='mysql-bin.000002', MASTER_LOG_POS=739, MASTER_USER='rep', MASTER_PASSWORD='xxx';

定期刪除中繼日誌

在配置主從復制中，slave 上設置了參數 relay_log_purge=0，所以 slave 節點需要定期刪除中繼日誌，建議每個 slave 節點刪除中繼日誌的時間錯開。

corntab -e

0 5 * * * /usr/local/bin/purge_relay_logs --user=root --password=pwd123 --port=3306 --disable_relay_log_purge >> /var/log/purge_relay.log 2>&1


mysql之MHA架構

相關推薦

MySQL之MHA架構的介紹

介紹 book 建議 三臺 系統 解決方案 只需要 nts 接受 一、前言： 1.1 MHA介紹 MHA（Master High Availability）目前在MySQL高可用方面是一個相對成熟的解決方案，它由日本DeNA公司youshimaton（現就職於Faceboo

mysql之MHA架構

mes width 日常 谷歌 log-bin height mha ould hup 角色Ip地址主機名Server id類型master192.168.1.131master11主（寫）Master（candicate）192.168.1.132Master22從（讀）

MySQL架構之MHA架構實戰

fault arc 獨立 支持 ignore llb ssh 啟動 pda 一、MHA原理 1、簡介： MHA（Master High Availability）目前在MySQL高可用方面是一個相對成熟的解決方案，它由日本DeNA公司youshimaton（現就職於Face

MYSQL之MHA集群

成功 target logs return str carp etop 方案 .... 環境 manager 192.168.137.141 master1 192.168.137.144 master2 192.168.137.145 slave 19

MySQL之MHA+keepalived方案演示(一)

keygen centos6.5 out too send 停止 keepaliv o_direct failover 整個MHA集群環境搭建過程演示 一． 實驗環境說明 安裝MHA操作步驟MHA節點包含三個腳本，依賴perl模塊。save_binary_logs:保

MySQL之MHA+keepalived方案演示(二)

file diff bin-log 問題 glob user 文件系統 ply repo 一、配置MHA工作環境 192.168.2.130機器操作：1.1.創建MHA的工作目錄，並且創建相關配置文件（在軟件包解壓後的目錄裏面有樣例配置文件）。指的是可以下載 mha4mys

MySQL之MHA+keepalived方案演示(三)

with rim 關閉 failed amp -o logs log-bin use 一、MHA之SSH免密碼登錄測試 1.1配置SSH登錄無密碼驗證 上述博文已經提到過，此處再次粘貼出來，防止遺忘此步驟在server02 192.168.2.128操作（Master）：

MySQL之MHA+keepalived方案演示(五)

word [1] send ali etc cond 博文 lin app 接著上篇博文MySQL之MHA+keepalived方案演示(四)中的MySQL的故障切換，當前主庫變為了192.168.2.129機器，同時129機器上的keepalived服務被開啟。然而192

mysql之MHA、Mycat綜合分析

one 你們 options 時間 .com eva new ive repl 一、簡介 　　MHA： 　　　　你可以把它看做是一個監控MySQL的工具，當master掛了之後，起一個slave作為master，另外一臺slave重新作為新master的備庫； 　　　　所

MySQL 之 MHA + ProxySQL + keepalived 實現讀寫分離，高可用（一）

don replica ifconfig soft 似的 恢復 select 8.0 ext 準備服務器： docker network create --subnet=192.168.0.0/16 staticnetdocker run -d --privileg

MySQL 之 MHA + ProxySQL + keepalived 實現讀寫分離，高可用（二）

ProxySQL安裝 yum/rpm安裝 在github或官網上可以下載rpm包，wiki的Getting start章節有詳細介紹。 cat <<EOF | tee /etc/yum.repos.d/proxysql.repo [proxysql_repo] name= ProxyS

Mysql之主從架構的複製原理及主從/雙主配置詳解(二)

3.深入瞭解複製 3.1、基於語句的複製(Statement-BasedReplication)          MySQL5.0及之前的版本僅支援基於語句的複製（也叫做邏輯複製，logical replication），這在資料庫並不常見。master記錄下改變資料

高效能MySQL之基礎架構

一、背景 為什麼我們需要先學習MYSQL的基礎架構先呢？ 原因很簡單，當我們需要了解一件事物的時候，我們只有站在巨集觀的層面，才能層層剝絲抽繭的去理解問題。舉個例子，我們要看一個框架的原始碼，一開始就想進去研究，卻發現找不著北，原因很簡單，因為我們沒有鳥瞰全貌，我們根本不知道入口在哪裡。因此我們學習MYS

MySQL之高可用架構—MHA

mysql mha MySQL高可用目前有heartbeat+drbd、MHA、MySQL復制等幾種較成熟的方案，heartbeat+drbd的方案可擴展性較差，而且讀寫都由主服務器負責，從庫並不提供讀功能，適合於數據增長量不大、一致性要求很高的環境，如銀行、金融業等。今天重點講下MHA的高可用架構。

MySQL高可用架構之MHA

mysql1、關於MHAMHA(Master HA)是一款開源的MySQL的高可用程序，它為MySQL主從復制架構提供了automating master failover功能。MHA在監控到master節點故障時，會提升其中擁有的最新數據的slave節點成為新的master節點，在此期間，MHA會通過其它從

mysql實現高可用架構之MHA

行數據 reading glob restart 比較 實驗 是否 其余 one 一、簡介 　　MHA（Master HA）是一款開源的 MySQL 的高可用程序，它為 MySQL 主從復制架構提供了 automating master failover 功能。MHA 在監

互聯網金融MySQL高可用架構之-MHA故障切換

文件 ads erro osi ddr app1 bind enabled ive 互聯網金融MySQL高可用架構之-MHA 在線平滑切換過程 --切換命令如下： [root@MHA bin]# masterha_master_switch --conf=/etc/app1

MySQL高可用架構之基於MHA的搭建

MySQL高可用架構之基於MHA的搭建  一、MySQL MHA架構介紹： MHA（Master High Availability）目前在MySQL高可用方面是一個相對成熟的解決方案，它由日本DeNA公司youshimaton（現就職於Facebook公司）開發，是一套

mysql高可用架構之MHA和mysql日誌優化

一、MHA簡介： MHA（Master High Availability）目前在MySQL高可用方面是一個相對成熟的解決方案，它由日本DeNA公司youshimaton（現就職於 Facebook公司）開發，是一套優秀的作為MySQL高可用性環境下故障切換和主從提升的高可用軟體。在M

MySQL/MariaDB高可用架構之MHA

宣告：本次實驗使用的是MariaDB資料庫，所以本文中所出現的MariaDB與MySQL都是指的是MariaDB！！！ MHA（Master HA）是一款開源的 MySQL 的高可用程式，它為 MySQL主從複製架構提供 了 automating master