Mysql的主從複製和並行複製

1. 複製概述
   mysql內建的複製功能是構建大型，高效能應用程式的基礎。將Mysql的資料分佈到多個系統上去，這種分佈的機制，是通過將Mysql的某一臺主機的資料複製到其它主機（slaves）上，並重新執行一遍來實現的。複製過程中一個伺服器充當主伺服器，而一個或多個其它伺服器充當從伺服器。主伺服器將更新寫入二進位制日誌檔案，並維護檔案的一個索引以跟蹤日誌迴圈。這些日誌可以記錄傳送到從伺服器的更新。當一個從伺服器連線主伺服器時，它通知主伺服器從伺服器在日誌中讀取的最後一次成功更新的位置。從伺服器接收從那時起發生的任何更新，然後封鎖並等待主伺服器通知新的更新。
   請注意當你進行復制時，所有對複製中的表的更新必須在主伺服器上進行。否則，你必須要小心，以避免使用者對主伺服器上的表進行的更新與對從伺服器上的表所進行的更新之間的衝突

2. 複製工作過程：
   (1) master將改變記錄到二進位制日誌(binary log)中（這些記錄叫做二進位制日誌事件，binary log events）；
   (2) slave將master的binary log events拷貝到它的中繼日誌(relay log)；

   (3) slave重做中繼日誌中的事件，將改變反映它自己的資料。
   下圖描述了複製的過程：
   

   該過程的第一部分就是master記錄二進位制日誌。在每個事務更新資料完成之前，master在二日誌記錄這些改變。MySQL將事務序列的寫入二進位制日誌，即使事務中的語句都是交叉執行的。在事件寫入二進位制日誌完成後，master通知儲存引擎提交事務。
   下一步就是slave將master的binary log拷貝到它自己的中繼日誌。首先，slave開始一個工作執行緒——I/O執行緒。I/O執行緒在master上開啟一個普通的連線，然後開始binlog dump process。Binlog dump process從master的二進位制日誌中讀取事件，如果已經跟上master，它會睡眠並等待master產生新的事件。I/O執行緒將這些事件寫入中繼日誌。
   SQL slave thread（SQL從執行緒）處理該過程的最後一步。SQL執行緒從中繼日誌讀取事件，並重放其中的事件而更新slave的資料，使其與master中的資料一致。只要該執行緒與I/O執行緒保持一致，中繼日誌通常會位於OS的快取中，所以中繼日誌的開銷很小。
   此外，在master中也有一個工作執行緒：和其它MySQL的連線一樣，slave在master中開啟一個連線也會使得master開始一個執行緒。複製過程有一個很重要的限制——複製在slave上是序列化的，也就是說master上的並行更新操作不能在slave上並行操作。

實驗環境：
Mater 172.25.64.3
Slave 172.25.64.4

Mysql的主從複製：

Redhat6.5自帶mysql，直接yum安裝

yum install mysql-server –y ##主從都需要安裝

Master主機配置:

Vim /etc/my.cnf
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql

symbolic-links=0
log-bin=mysql-bin #啟動二進位制日至系統 ##以下四行為新新增的引數
binlog-do-db=test ##二進位制需要同步的資料庫名，如果需要同步多個庫，按照這個引數，再新增，然後修改後面的資料庫名字就行
server-id=1 ##主伺服器的id值，
binlog-ignore-db=mysql ##禁止同步mysql資料庫

[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid

/etc/init.d/mysqld start ##開啟資料庫

建立複製帳號1，在master的資料庫中建立一個備用賬戶，每個slave使用使用者名稱和密碼連線master，進行復制操作的使用者會授予replicati on slave許可權，使用者名稱的密碼都會儲存在slave伺服器的master.info中。
mysql> GRANT REPLICATION SLAVE,RELOAD,SUPER ON . TO [email protected]’172.25.64.4’ DENTIFIED BY ‘westos’; ##建立一個賬戶westos，並且只能允許172.25.64.4這個地址來登陸,密碼是westos
mysql>Flush privileges;
除錯：
在master上面用下面命令檢視日至檔案和更新值的在日至中的位置。這個後面配置從伺服器的時候要用到，從伺服器從主伺服器的日誌檔案中的更新位置開始進行復制。

mysql> show master status
-> ;
+——————+———-+————–+——————+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB |
+——————+———-+————–+——————+
| mysql-bin.000003 | 346 | test | mysql |
+——————+———-+————–+——————+

Master伺服器配置好了，接下來我們配置slave伺服器：

vim /etc/my.cnf
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql

symbolic-links=0
server-id=2 #從伺服器 ID 號,不要和主 ID 相同,如果設定多個從伺服器,每個從伺服器必須有一個唯一的 server-id 值,必須與主伺服器的以及其它從伺服器的不相同。可以認為 server-id 值類似於 IP 地址:這些 ID 值能唯一識別複製伺服器群集
中的每個伺服器例項。

/etc/init.d/mysqld start ##開啟slave資料庫

在slave上面執行下面命令

mysql> change master to master_host=’172.25.64.3’, master_user=’westos’,
master_password=’westos’, master_log_file=’mysql-bin.000003’, master_log_pos=346;
引數解釋：MASTER_HOST : 設定要連線的主伺服器的ip地址
　　　　 MASTER_USER : 設定要連線的主伺服器的使用者名稱
　　　　 MASTER_PASSWORD : 設定要連線的主伺服器的密碼
　　　　MASTER_LOG_FILE : 設定要連線的主伺服器的bin日誌的日誌名稱，即檢視master伺服器上面資料庫的show master status；所顯示的檔名稱
MASTER_LOG_POS : 設定要連線的主伺服器的bin日誌的記錄位置，即show master status中的postion，（這裡注意，最後一項不需要加引號。否則配置失敗）

Query OK, 0 rows affected (0.28 sec)
mysql> slave start; ##開啟從伺服器
mysql> show slave status\G;
Slave_IO_State: Waiting for master to send event
Master_Host: 172.25.64.3 ##主伺服器地址
Master_User: westos ##授權賬戶名
Master_Port: 3306 ##資料庫埠
Connect_Retry: 60
Master_Log_File: mysql-bin.000003
Read_Master_Log_Pos: 346 ##同步讀取二進位制日誌的位置
Relay_Log_File: mysqld-relay-bin.000002
Relay_Log_Pos: 251
Relay_Master_Log_File: mysql-bin.000003
Slave_IO_Running: Yes ##IO和SQL必須是yes，說明開啟了這兩個程序
Slave_SQL_Running: Yes
Replicate_Do_DB:
Replicate_Ignore_DB:
Replicate_Do_Table:
Replicate_Ignore_Table:
Replicate_Wild_Do_Table:
Replicate_Wild_Ignore_Table:
Last_Errno: 0
Last_Error:
Skip_Counter: 0
Exec_Master_Log_Pos: 346
Relay_Log_Space: 407
Until_Condition: None
Until_Log_File:
Until_Log_Pos: 0
Master_SSL_Allowed: No
Master_SSL_CA_File:
Master_SSL_CA_Path:
Master_SSL_Cert:
Master_SSL_Cipher:
Master_SSL_Key:
Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
Last_IO_Errno: 0
Last_IO_Error:
Last_SQL_Errno: 0
Last_SQL_Error:
1 row in set (0.00 sec)

測試：

Master上面再test庫裡面新建表然後插入資料，然後在slave伺服器上面檢視有沒有複製過來

Master伺服器上面：
mysql> use test;
mysql> create table test;
mysql> create table yiyi(id int(3),name char(10));
mysql> insert into yiyi values(001,’yiyi’);
mysql> select * from yiyi;
mysql> select * from yiyi;
+——+——+
| id | name |
+——+——+
| 1 | yiyi |
+——+——+
1 row in set (0.00 sec)

Slave伺服器上面：
mysql> use test;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> select * from yiyi
-> ;
+——+——+
| id | name |
+——+——+
| 1 | yiyi |
+——+——+

Mysql並行複製：

為什麼需要並行複製：
　　一般主從複製，有三個執行緒參與，都是單執行緒：Binlog Dump（主） —–>IO Thread （從） —–> SQL Thread（從）。複製出現延遲一般出在兩個地方
1）SQL執行緒忙不過來（可能需要應用資料量較大，可能和從庫本身的一些操作有鎖和資源的衝突；主庫可以併發寫，SQL執行緒不可以；主要原因）
2）網路抖動導致IO執行緒複製延遲（次要原因）。
MySQL從5.6開始有了SQL Thread多個的概念，可以併發還原資料，即並行複製技術。
　　在MySQL 5.7中，引入了基於組提交的並行複製（Enhanced Multi-threaded Slaves），設定引數slave_parallel_workers>0並且global.slave_parallel_type＝‘LOGICAL_CLOCK’，
即可支援一個schema下，slave_parallel_workers個的worker執行緒併發執行relay log中主庫提交的事務。其核心思想：一個組提交的事務都是可以並行回放（配合binary log group commit）；
slave機器的relay log中 last_committed相同的事務（sequence_num不同）可以併發執行。
　　其中，變數slave-parallel-type可以有兩個值：DATABASE 預設值，基於庫的並行複製方式；LOGICAL_CLOCK：基於組提交的並行複製方式

安裝5.7版本的資料庫：
tar xf mysql-5.7.17-1.el6.x86_64.rpm-bundle.tar ##解開tar包
yum remove mysql-libs -y ##首先需要解除安裝當前版本資料庫的庫
yum install mysql-community-common-5.7.17-1.el6.x86_64.rpm -y
yum install mysql-community-libs-5.7.17-1.el6.x86_64.rpm mysql-community-client-5.7.17-1.el6.x86_64.rpm mysql-community-server-5.7.17-1.el6.x86_64.rpm -y ##安裝資料庫

主從伺服器都需要安裝5.7版本的資料庫。
mysql_secure_installation ##資料庫安全認證修改資料庫密碼
由於5.7版本的資料庫安裝的時候就會生成密碼，密碼在/var/log/mysql.log裡面

master伺服器配置與授權與主從複製的一樣，由於並行複製是再5.7版本加入的，5.7版本對資料庫的密碼健壯性要求比較高，所以我們在授權的時候需要對密碼進行修改，slave伺服器的配置檔案需要新增以下幾行：
server-id=2
slave-parallel-type=LOGICAL_CLOCK
slave-parallel-workers=16 ##並行複製執行緒數
master_info_repository=TABLE
relay_log_info_repository=TABLE
relay_log_recovery=ON ##從機要求重新同步master日誌

測試：在master裡面插入資料，然後在slave上面檢視：
Master插入：
mysql> create table bushe;
mysql> create table bushe(name char(10));
mysql> insert into bushe values (‘kang’);

Slave檢視mysql> show databases;
+——————–+
| Database |
+——————–+
| information_schema |
| mysql |
| performance_schema |
| sys |
| yiyi |
+——————–+
5 rows in set (0.00 sec)

mysql> use yiyi;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A
mysql> show tables;
+—————-+
| Tables_in_yiyi |
+—————-+
| bushe |
+—————-+
1 row in set (0.00 sec)

mysql> select * from bushe;
+——+
| name |
+——+
| kang |
+——+
1 row in set (0.00 sec)

可以看到在master中的資料複製到了slave