MySQL主從復制與讀寫分離
主從復制(Master-Slave)與讀寫分離(Mysql作為目前世界上使用最廣泛的免費數據庫,相信所有從事系統運維的工程師都一定接觸過。但在實際的生產環境中,由單臺主從復制(Master-Slave)的方式來同步數據,再通過讀寫分離(MySQL的安裝與配置
具體的安裝過程,建議參考我的這一篇文章:http://heylinux.com/archives/993.html
值得一提的是,我的安裝過程都是源碼包編譯安裝的,並且所有的配置與數據等都統一規劃到了/opt/mysql目錄打包,然後傳到其它服務器上解包,便可立即使用。
二、主從復制
場景描述:
主數據庫服務器:192.168.10.130,MySQL已經安裝,並且無應用數據。
2.1 主服務器上進行的操作
啟動mysql/init.d/MySQL服務器
/opt/mysql -uroot -p‘new-password‘
授權給從數據庫服務器192.168.10.131
mysql> GRANT REPLICATION SLAVE ON *.* to [email protected] identified by ‘password’;
查詢主數據庫狀態
mysql-bin.000005 | 261 | | |
+------------------+----------+--------------+------------------+
記錄下 FILE 及 Position 的值,在後面進行從服務器操作的時候需要用到。
2.2 配置從服務器
修改從服務器的配置文件/opt/MySQL服務所使用。
啟動mysql/init.d/MySQL服務器
/opt/mysql -uroot -p‘new-password‘
執行同步SQL語句
mysql-bin.000005’,
master_log_pos=261;
正確執行後啟動Slave同步進程
mysql> start slave;
主從同步檢查
mysql-bin.000005
Read_Master_Log_Pos: 415
Relay_Log_File: localhost-relay-bin.000008
Relay_Log_Pos: 561
Relay_Master_Log_File: 主從復制時,需要做以下處理:
(1)主數據庫進行鎖表操作,不讓數據再進行寫入動作
mysql
(2)查看主數據庫狀態
mysql> show master status;
(3)記錄下 FILE 及 Position 的值。
將主服務器的數據文件(整個/opt/mysql> UNLOCK TABLES;
2.3 驗證mysql> create database first_db;
Query Ok, 1 row affected (0.01 sec)
在主服務器上創建表first_tb
mysql> create table first_tb(id int(3),name char(10));
Query Ok, 1 row affected (0.00 sec)
在主服務器上的表first_tb中插入記錄
mysql> insert into first_tb values (001,’myself’);
Query Ok, 1 row affected (0.00 sec)
在從服務器上查看
mysql |
| performance_schema |
| test |
+--------------------+
5 rows in set (0.01 sec)
=============================
數據庫first_db已經自動生成
mysql> use first_db
Database chaged
mysql> show tables;
=============================
+--------------------+
| Tables_in_first_db |
+--------------------+
| first_tb |
+--------------------+
1 row in set (0.02 sec)
=============================
數據庫表first_tb也已經自動創建
mysql> select * from first_tb;
=============================
+------+------+
| id | name |
+------+------+
| 1 | myself |
+------+------+
1 rows in set (0.00 sec)
=============================
記錄也已經存在
由此,整個主從復制的過程就完成了,接下來,我們進行MySQL讀寫分離
場景描述:
數據庫Master主服務器:192.168.10.130
數據庫Slave從服務器:192.168.10.131
MySQL-Proxy調度服務器 上進行的。
3.1 MySQL-Proxy的讀寫分離主要是通過rw-splitting.lua腳本實現的,因此需要安裝lua。
lua可通過以下方式獲得
從http://www.lua.org/download.html下載源碼包
從rpm.pbone.net搜索相關的rpm包
download.fedora.redhat.com/pub/fedora/epel/5/i386/lua-5.1.4-4.el5.i386.rpm
download.fedora.redhat.com/pub/fedora/epel/5/x86_64/lua-5.1.4-4.el5.x86_64.rpm
這裏我們建議采用源碼包進行安裝
cd /opt/install
wget http://www.lua.org/ftp/lua-5.1.4.tar.gz
tar zvfx lua-5.1.4.tar.gz
cd lua-5.1.4
vi src/Makefile
在 CFLAGS= -O2 -Wall $(MYCFLAGS) 這一行記錄裏加上-fPIC,更改為 CFLAGS= -O2 -Wall -fPIC $(MYCFLAGS) 來避免編譯過程中出現錯誤。
make linux
make install
cp etc/lua.pc /usr/lib/pkgconfig/
export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/lib/pkgconfig
3.4 安裝配置MySQL-Proxy可通過以下網址獲得:
http://MySQL-Proxy/
推薦采用已經編譯好的二進制版本,因為采用源碼包進行編譯時,最新版的http://MySQL-Proxy/http://MySQL-Proxy/mysql.cdpa.nsysu.edu.tw/Downloads/mysql-proxy-0.8.1-linux-rhel5-x86-32bit.tar.gz
tar xzvf mysql-proxy-0.8.1-linux-rhel5-x86-32bit /opt/mysql-proxy服務管理腳本
mkdir /opt/mysql-proxy
01 | #!/bin/sh |
02 | # |
03 | # mysql-proxy daemon |
04 | # |
05 | # chkconfig: - 78 30 |
06 | # processname: # description: mysql |
08 |
09 | # Source function library. |
10 | . /etc/rc.d/init.d/functions |
11 |
12 | #PROXY_PATH=/usr/local/bin |
13 | PROXY_PATH=/opt/mysql-proxy/bin |
14 |
15 | prog="mysql-proxy" |
16 |
17 | # Source networking configuration. |
18 | . /etc/sysconfig/network |
19 |
20 | # Check that networking is up. |
21 | [ ${NETWORKING} = "no" ] && exit 0 |
22 |
23 | # Set default #PROXY_OPTIONS="--daemon" |
25 | PROXY_OPTIONS="--admin-username=root --admin-password=password --proxy-read-only-backend-addresses=192.168.10.131:3306 --proxy-backend-addresses=192.168.10.130:3306 --admin-lua-script=/opt/mysql-proxy/lua/admin.lua --proxy-lua-script=/opt/mysql-proxy/run/mysql-proxy.pid |
27 |
28 | # Source if [ -f /etc/sysconfig/then |
30 | . /etc/sysconfig/fi |
32 |
33 | PATH=$PATH:/usr/bin:/usr/local/bin:$PROXY_PATH |
34 |
35 | # By default it‘s all good |
36 | RETVAL=0 |
37 |
38 | # See how we were called. |
39 | case "$1" in |
40 | start) |
41 | # Start daemon. |
42 | echo -n $"Starting $prog: " |
43 | $NICELEVEL $PROXY_PATH/file=$PROXY_PID --user=file=/opt/mysql-proxy.log |
44 | RETVAL=$? |
45 | echo |
46 | if [ $RETVAL = 0 ]; then |
47 | touch /var/lock/subsys/fi |
49 | ;; |
50 | stop) |
51 | # Stop daemons. |
52 | echo -n $"Stopping $prog: " |
53 | killproc $prog |
54 | RETVAL=$? |
55 | echo |
56 | if [ $RETVAL = 0 ]; then |
57 | rm -f /var/lock/subsys/rm -f $PROXY_PID |
59 | fi |
60 | ;; |
61 | restart) |
62 | $0 stop |
63 | sleep 3 |
64 | $0 start |
65 | ;; |
66 | condrestart) |
67 | [ -e /var/lock/subsys/mysql-proxy ] && $0 restart |
68 | ;; |
69 | status) |
70 | status mysql-proxy |
71 | RETVAL=$? |
72 | ;; |
73 | *) |
74 | echo "Usage: $0 {start|stop|restart|status|condrestart}" |
75 | RETVAL=1 |
76 | ;; |
77 | esac |
78 |
79 | exit $RETVAL |
腳本參數詳解:
==============================================
PROXY_PATH=/opt/mysql-proxy服務二進制文件路徑
PROXY_OPTIONS="--admin-username=root \ //定義內部管理服務器賬號
--admin-password=password \ //定義內部管理服務器密碼
--proxy-read-only-backend-addresses=192.168.10.131:3306 \ //定義後端只讀從服務器地址
--proxy-backend-addresses=192.168.10.130:3306 \ //定義後端主服務器地址
--admin-lua-script=/opt/mysql-proxy/lua/admin.lua \ //定義lua管理腳本路徑
--proxy-lua-script=/opt/mysql-proxy/run/mysql-proxy PID文件路徑
$NICELEVEL $PROXY_PATH/mysql-proxy PID文件路徑
--user=mysql用戶身份啟動服務
--log-level=warning \ //定義log日誌級別,由高到低分別有(error|warning|info|message|debug)
--log-file=/opt/mysql-proxy.log //定義log日誌文件路徑
==============================================
cp mysql-proxy/init.d/
chmod +x /opt/mysql-proxy
mkdir /opt/mysql-proxy/log
mkdir /opt/mysql-proxy源碼包中獲取
cd /opt/install
wget http://MySQL-Proxy/mysql-proxy-0.8.1.tar.gz
cd mysql-proxy/scripts
修改讀寫分離腳本rw-splitting.lua
修改默認連接,進行快速測試,不修改的話要達到連接數為4時才啟用讀寫分離
vim /opt/mysql-proxy
/opt/mysql-proxy start
3.5 測試讀寫分離效果
創建用於讀寫分離的數據庫連接用戶
登陸主數據庫服務器192.168.10.130,通過命令行登錄管理mysql/bin/mysql> GRANT ALL ON *.* TO [email protected] IDENTIFIED BY ‘password‘;
由於我們配置了MySQLMySQL服務器
/opt/mysql -uroot -p‘new-password‘
關閉Slave同步進程
mysql> stop slave;
Query OK, 0 rows affected (0.00 sec)
連接mysql/bin/mysql> use first_db;
Database changed
mysql> insert into first_tb values (110,’second’);
Query Ok, 1 row affected (0.00 sec)
查詢記錄
mysql> select * from first_tb;
=============================
+------+------+
| id | name |
+------+------+
| 1 | myself |
+------+------+
1 rows in set (0.00 sec)
=============================
通過讀操作並沒有看到新記錄
MySQL-Proxy
下面,分別登陸到主從數據庫服務器,對比記錄信息
首先,檢查主數據庫服務器
mysql> select * from first_tb;
=============================
+------+------+
| id | name |
+------+------+
| 1 | myself |
+------+------+
| 007 | first |
+------+------+
| 110 | second |
+------+------+
3 rows in set (0.00 sec)
=============================
兩條新記錄都已經存在
然後,檢查從數據庫服務器
mysql> select * from first_tb;
=============================
+------+------+
| id | name |
+------+------+
| 1 | myself |
+------+------+
1 rows in set (0.00 sec)
=============================
沒有新記錄存在
由此驗證,我們已經實現了MySQLMySQLMySQL-Proxy的rw-splitting.lua腳本在網上有很多版本,但是最準確無誤的版本仍然是源碼包中所附帶的lib/rw-splitting.lua腳本,如果有lua腳本編程基礎的話,可以在這個腳本的基礎上再進行優化;
3.MySQL-Proxy供自身使用,雖然比較低效但卻能保證穩定性;
4.一主多從的架構並不是最好的架構,通常比較優的做法是通過程序代碼和中間件等方面,來規劃,比如設置對表數據的自增id值差異增長等方式來實現兩個或多個主服務器,但一定要註意保證好這些主服務器數據的完整性,否則效果會比多個一主多從的架構還要差;
5.MySQL 是一款優秀的中間件軟件,同樣可以實現讀寫分離,負載均衡等功能,並且穩定性要大大超過MySQL-Proxy,甚至MySQL-Cluster。
MySQL主從復制與讀寫分離