MYSQL叢集MHA架構實現手冊

一、安裝環境及架構

宿主機系統：MacOS版本 10.14.6

虛擬機器軟體：VirtualBoxVm

虛擬機器系統：CentOS7

mysql版本：mysql5.7.28

檔案遠端傳輸：iTerm2

二、主從搭建

1、共有步驟

首先用iTerm工具使用命令上傳mysql到虛擬機器

scp -r mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar [email protected]:/root
scp -r mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar [email protected]:/root
scp -r mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar [email protected]:/root

登入CentOS虛擬機器系統，Centos預設安裝mariadb，需要檢查如果存在進行刪除

# 檢查
rpm -qa |grep mariadb
# 移除
rpm -e  mariadb-libs-5.5.41-2.el7_0.x86_64 --nodeps
 

解壓縮mysql安裝包

 tar -zxvf  mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar

安裝準備

# 按順序安裝
rpm -ivh   mysql-community-common-5.7.28-1.el7.x86_64.rpm
rpm -ivh   mysql-community-libs-5.7.28-1.el7.x86_64.rpm
rpm -ivh   mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
rpm -ivh   mysql-community-client-5.7.28-1.el7.x86_64.rpm
rpm -ivh   mysql-community-server-5.7.28-1.el7.x86_64.rpm
# 上述如出現警告xxx，祕鑰xxx 在後面新增 --force --nodeps 命令
# 安裝開發工具，是功能更完整
rpm -ivh   mysql-community-devel-5.7.28-1.el7.x86_64.rpm
#例項化mysql，初始化使用者mysql
mysqld --initialize --user=mysql
#檢視root密碼
cat /var/log/mysqld.log
#登入系統 
mysql -uroot -p
#修改密碼
set password=password('root');

#新增系統啟動mysql自啟動
systemctl start mysqld.service
#檢視是否設定成功
systemctl status mysqld.service

#關閉防火牆
systemctl stop iptables
systemctl stop firewalld
#設定開機禁止啟動防火牆
systemctl disable firewalld.service
 

2、配置主庫的環境

修改/etc/my.cnf檔案，新增下面內容

[mysqld]
# 新增，開啟binlog，指定忽略庫和serverId
log-bin=mysql-bin 
server-id=1
sync-binlog=1
binlog-ignore-db=performance_schema
binlog-ignore-db=information_schema
binlog-ignore-db=sys

#指定同步庫
#binlog-do-db=lagou

儲存檔案修改重啟mysql

systemctl restart mysqld

登入主庫為root使用者授權

#登入 
mysql -uroot -proot
# 授權replication
grant replication slave on *.* to 'root'@'%' identified by 'root';
# 授權privileges
grant all privileges on *.* to 'root'@'%' identified by 'root';

#重新整理生效
flush privileges;

#檢視主庫檔案
show master status ;
# 使用上面命令看到master_log_file='mysql-bin.000001',master_log_pos=869資訊

3、配置兩臺從庫

修改/etc/my.cnf檔案，新增下面內容

# serverid 不同庫設定不同即可
server-id=2
# binlog設定防止mha時候出問題
log-bin=mysql-bin 
sync-binlog=1
binlog-format=ROW
binlog-ignore-db=performance_schema
binlog-ignore-db=information_schema
binlog-ignore-db=sys
#設定relay
relay_log=mysql-relay-bin
#設定只讀狀態
read_only=1

儲存檔案修改重啟mysql

systemctl restart mysqld

登入mysql，檢查slave狀態：

#登入 
mysql -uroot -proot
# 如果非空開啟狀態需要stop slave停掉
show slave status \G
# 一下為1條命令，指定主庫和同步資訊的位置，如果是就庫改造，需要同步下原來的資料
change master to master_host='192.168.56.101',master_port=3306,master_user='root',master_password='root',master_log_file='mysql-bin.000001',master_log_pos=869;
#啟動從庫
start slave;
#檢視狀態，Slave_IO_Running和Slave_SQL_Running是否為yes，是正常
show slave status \G

三、半同步和並行複製實現

####1、 半同步設定

#主庫master
#檢視是否支援動態安裝外掛
select @@have_dynamic_loading;
#檢視已有外掛
show plugins;
# master安裝半同步外掛，soname重新命名
install plugin rpl_semi_sync_master soname 'semisync_master.so';
# 檢視配置引數
show variables like '%semi%';
#開啟半同步
set global rpl_semi_sync_master_enabled=1;
#設定超時時間
set global rpl_semi_sync_master_timeout=1000;

#從庫slave
#檢視是否支援動態安裝外掛
select @@have_dynamic_loading;
#檢視已有外掛
show plugins;
# master安裝半同步外掛，soname重新命名
install plugin rpl_semi_sync_slave soname 'semisync_slave.so';
# 檢視配置引數
show variables like '%semi%';
#開啟半同步
set global rpl_semi_sync_slave_enabled=1;
#重啟slave
stop slave;
start slave;

2、並行複製配置

從庫slave有兩種方案：一種方案登入mysql動態設定、另一種方案修改my.cnf檔案（推薦）

# 主庫修改master
#檢視配置引數
show variables like '%binlog_group%';
#設定超時時間
set global binlog_group_commit_sync_delay=1000;
set global binlog_group_commit_sync_no_delay_count=100;

#從庫修改slave
#檢視配置引數
show variables like '%slave%';
set global slave_parallel_type='LOGICAL_CLOCK';
#設定超時時間
set global slave_parallel_workers=8;
set global master_info_repository='TABLE';
show variables like '%relay_log%';
stop slave
#執行失敗寫在my.cnf配置中
set global relay_log_recovery=1; 
set global relay_log_info_repository='TABLE';
start slave

## 或者，上下選擇一個即可
#：/etc/my.cnf 配置檔案新增下面配置
slave_parallel_type='LOGICAL_CLOCK'
slave_parallel_workers=8
master_info_repository='TABLE'
relay_log_recovery=1
relay_log_info_repository='TABLE'
# 然後重啟
systemctl restart mysqld

#登入mysql執行sql驗證：
select * from performance_schema.replication_applier_status_by_worker;

五、搭建MHA伺服器

MHA由manager和node節點組成，node四個伺服器都必須安裝

1、保持四臺機器相互通訊，使用ssh祕鑰實現

master和slave執行生成公鑰

 #master和slave執行，生成公鑰
 ssh-keygen -t rsa
  #master和slave執行，複製公鑰到mha伺服器
 ssh-copy-id 192.168.56.105 

manager伺服器執行

 
 #生成公鑰
 ssh-keygen -t rsa
 # 檢查是否存在authorized_keys檔案，同時追加本機的
 cat ~/.ssh/authorized_keys
 #在檔案中追加本機ssh公鑰
 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
 #將本機authorized_keys同步值master和slave主機
 scp authorized_keys [email protected]:/root/.ssh/
 scp authorized_keys [email protected]:/root/.ssh/
 scp authorized_keys [email protected]:/root/.ssh/
 

2、四臺伺服器同時安裝node節點

#下載
wget https://github.com/yoshinorim/mha4mysql-node/releases/download/v0.58/mha4mysql-node-0.58-0.el7.centos.noarch.rpm
#安裝
rpm -ivh mha4mysql-node-0.58-0.el7.centos.noarch.rpm --force --nodeps

3、安裝manager主機

安裝manager

# 安裝依賴
wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
rpm -ivh epel-release-latest-7.noarch.rpm
yum install perl-DBD-MySQL perl-Config-Tiny perl-Log-Dispatch perl-Parallel-Fork Manager -y
# 執行上述yum時候出現Cannot retrieve metalink for repository: epel/x86_64. 異常
# 處理方式： 開啟 /etc/yum.repos.d/epel.repo ，註釋掉mirrorlink，取消註釋baseurl；
#安裝node
wget https://github.com/yoshinorim/mha4mysql-node/releases/download/v0.58/mha4mysql-node-0.58-0.el7.centos.noarch.rpm
rpm -ivh mha4mysql-node-0.58-0.el7.centos.noarch.rpm --force --nodeps
#安裝manager
wget https://github.com/yoshinorim/mha4mysql-manager/releases/download/v0.58/mha4mysql-manager-0.58-0.el7.centos.noarch.rpm
rpm -ivh mha4mysql-manager-0.58-0.el7.centos.noarch.rpm --force --nodeps
#補齊所需外掛
yum install -y  perl-YAML-Tiny perl-PAR-Dist perl-Module-ScanDeps perl-Module-CoreList perl-Module-Build perl-CPAN perl-CPANPLUS perl-File-Remove perl-Module-Install

初始化配置檔案

mkdir -p /var/log/mha/app1
touch /var/log/mha/app1/manager.log
#masterha_default.cnf內容如下面
vi /etc/masterha_default.cnf
mkdir /etc/mha
#app1.cnf內容如下面
vi /etc/mha/app1.cnf

masterha_default.cnf檔案內容

[server default]
#使用者名稱
user=root
#密碼
password=root
#ssh登入賬號
ssh_user=root
#主從複製賬號
repl_user=root
#主從複製密碼
repl_password=root
#ping次數
ping_interval=1
#二次檢查的主機
secondary_check_script=masterha_secondary_check -s 192.168.56.101 -s 192.168.56.103 -s 192.168.56.104

app1.cnf檔案內容

[server default]
#MHA監控例項根目錄
manager_workdir=/var/log/mha/app1
#MHA監控例項日誌檔案
manager_log=/var/log/mha/app1/manager.log
#[serverx]          伺服器編號
#hostname           主機名
#candidate_master   可以做主庫
#master_binlog_dir  binlog日誌檔案目錄
[server1]
hostname=192.168.56.101
candidate_master=1
master_binlog_dir="/var/lib/mysql"
[server2]
hostname=192.168.56.103
candidate_master=1
master_binlog_dir="/var/lib/mysql"
[server3]
hostname=192.168.56.104
candidate_master=1
master_binlog_dir="/var/lib/mysql"

檢測ssh通訊情況

masterha_check_ssh --conf=/etc/mha/app1.cnf

檢測管理情況

masterha_check_repl --conf=/etc/mha/app1.cnf

啟動並監控

#啟動
nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null > /var/log/mha/app1/manager.log 2>&1 &
#檢視監控
masterha_check_status --conf=/etc/mha/app1.cnf
#檢視日誌
tail -f /var/log/mha/app1/manager.log

六、結果演示

主從測試sql

create TABLE position (
id int(20),
name varchar(50),
salary varchar(20),
city varchar(50)
) ENGINE=innodb charset=utf8;

insert into position values(1, 'Java', 13000, '北京');
insert into position values(2, 'DBA', 20000, '天津');

create TABLE position_detail (
id int(20),
pid int(20),
description text
) ENGINE=innodb charset=utf8;

insert into position_detail values(1, 1, 'Java開發');
insert into position_detail values(2, 2, '資料庫管理員');

可用性測試

#主庫執行
systemctl stop mysqld
#監控日誌manager.log，去master主機
show master status;

七、問題

[/usr/share/perl5/vendor_perl/MHA/ManagerUtil.pm, ln122] Got error when getting node version. Error:

[/usr/share/perl5/vendor_perl/MHA/ManagerUtil.pm, ln123]bash: apply_diff_relay_logs: 未找到命令

node節點沒有安裝，在master和slave上執行

wget https://github.com/yoshinorim/mha4mysql-node/releases/download/v0.58/mha4mysql-node-0.58-0.el7.centos.noarch.rpm

rpm -ivh mha4mysql-node-0.58-0.el7.centos.noarch.rpm --force --nodeps