配置mysql主從同步讀寫分離,amoeba做中間代理服務
前言
最近自己利用課餘時間研究了MySQL的的主從同步,讀寫分離的配置過程,期間遇到了很多的問題,在這篇博文中我把自己的配置過程遇到的問題和配置流程總結一下。
環境
我的伺服器叢集使用自己電腦上的虛擬機器虛擬機器模擬的,虛擬機器裝的是centos的系統
系統:三臺裝的CentOS的伺服器,兩臺MySQL的伺服器,一臺amoeba代理伺服器
MySQL的版本:5.7(這裡建議不用最新版本的8.0,因為mysql8.0有很多新特性跟5.7的配置過程差異很大)
叢集架構圖
安裝MySQL
配置mysql之前一定要先安裝mysql,mysql的安裝過程這個不進行敘述,請參考我的另一篇博文:
配置
配置前要保證兩個的MySQL伺服器的MySQL的版本一致。
配置前先啟動mysql的服務:
shell > service mysqld start
修改主伺服器master的my.cnf中
執行如下命令:
shell > vim /etc/my.cnf
在檔案的最後加上以下內容:
[mysqld] #[必須]啟用二進位制日誌 log-bin=mysql-bin #[必須]伺服器唯一ID,預設是1,一般取IP最後一段 server-id=1
配置從伺服器slave的my.cnf中
同樣執行如下命令:
shell > vim /etc/my.cnf
在檔案的最後加上如下內容:
[mysqld]
#[必須]啟用二進位制日誌
log-bin=mysql-bin
#[必須]伺服器唯一ID,預設是1,一般取IP最後一段
server-id=2
兩臺都配置完成後重啟兩臺伺服器的MySQL的:
shell > service mysqld restart
在主伺服器master上建立賬戶並授權slave
一個先登入MySQL的:
shell > mysql -uroot -p
然後執行如下程式碼:
mysql>GRANT REPLICATION SLAVE ON *.* to 'myslave'@'192.168.112.149' identified by '123456';
這段命令中的myslave為建立的帳戶名,123456為賬戶myslave登入密碼,其中@後面的為從伺服器(slave)的IP地址。
一般不用root帳號,@後面用 “%” 表示所有客戶端都可能連,只要帳號,密碼正確,此處可用具體客戶端IP代替,如192.168.145.226,加強安全。
登入主伺服器的MySQL,查詢master的狀態
執行如下命令:
mysql>show master status;
顯示如下:
注:執行完此步驟後不要再操作主伺服器MYSQL,防止主伺服器狀態值變化
配置從伺服器slave
//注意不要斷開,454數字前後無單引號。
mysql>change master to master_host='192.168.112.148',master_user='myslave',master_password='123456',master_log_file='mysql-bin.000001',master_log_pos=454;
MASTER_HOST:主伺服器(master)的IP地址。
MASTER_USER:剛剛在master上授權的賬戶名。
MASTER_PASSWORD:賬戶授權的密碼。
master_log_file:剛剛show master status;命令下的File屬性內容。
master_log_pos:是master status下的position
然後啟動從伺服器複製功能
Mysql>start slave;
檢查從伺服器複製功能狀態
mysql> show slave status\G
結果如下:
如果其中的Slave_Io_Running為connecting可以參考如下方法:
關閉主伺服器和從伺服器的防火牆:
shell > service iptables stop
或者配置防火牆不攔截的MySQL的3306埠(如果你是在真正的伺服器上配置使用的話建議這個方法)。
我這裡使用的是直接關閉兩個防火牆。
到這裡咱們的MySQL的的master和slave伺服器的主從同步已經實現了。
測試master和slave的主從同步
主伺服器的Mysql,建立資料庫,並在這個庫中建表插入一條資料:
mysql> create database test_master;
mysql> use test_master;
mysql> create table test_master(id int(3),name char(10));
mysql> insert into test_master values(001,'test');
執行結束後進入從伺服器資料庫,檢視剛剛主中新增的資料:
mysql > show databases;
mysql > use test_master;
mysql > show tables;
mysql > select * from test_master;
結果如下:
主從同步已經實現。
配置amoeba
配置amoeba前需要先安裝的Java的安裝環境
amoeba框架是居於JDK1.5開發的,採用了JDK1.5的特性,所以還需要安裝Java的環境,建議使用javaSE1.5以上的JDK版本。
安裝的Java環境
先去官網下載:HTTP://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
安裝
[[email protected] src]# rpm -ivh jdk-8u111-linux-x64.rpm
Preparing... ########################################### [100%]
1:jdk1.8.0_111 ########################################### [100%]
Unpacking JAR files...
tools.jar...
plugin.jar...
javaws.jar...
deploy.jar...
rt.jar...
jsse.jar...
charsets.jar...
localedata.jar...
然後設定Java的環境變數
[[email protected] src]# vim /etc/profile
#set java environment
JAVA_HOME=/usr/java/jdk1.8.0_111
JRE_HOME=/usr/java/jdk1.8.0_111/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
[[email protected] amoeba]# source /etc/profile
測試是否安裝成功
[[email protected] src]# java -version
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)
安裝amoeba
下載:
wget http://nchc.dl.sourceforge.net/project/amoeba/Amoeba%20for%20mysql/2.x/amoeba-mysql-binary-2.1.0-RC5.tar.gz
安裝amoeba
amoeba安裝非常簡單,直接解壓即可使用,這裡將amoeba解壓到的/ usr /local/amoeba目錄下,這樣就安裝完成了。
mkdir /usr/local/amoeba
mv amoeba-mysql-binary-2.1.0-RC5.tar.gz/usr/local/amoeba
tar xvf amoeba-mysql-binary-2.1.0-RC5.tar.gz
配置amoeba
amoeba的配置檔案在本環境下位於在/ usr /local/amoeba/ conf目錄下。配置檔案比較多,但是僅僅使用讀寫分離功能,只需配置兩個檔案即可,分別是dbServers.xml和amoeba. XML,如果需要配置IP訪問控制,還需要修改access_list.conf檔案,下面首先介紹dbServers.xml
注意紅色部分內容
[root @ bogon amoeba] #vim conf / dbServers.xml
<?xml version =“1.0”encoding =“gbk”?><!DOCTYPE amoeba:dbServers SYSTEM "dbserver.dtd">
<amoeba:dbServers xmlns:amoeba="http://amoeba.meidusa.com/"><! -
需要將每個dbServer配置到池中,
如果需要配置多個帶有負載平衡的dbServer,可以通過以下配置進行簡化:
在dbServer中新增名為virtual =“true”的屬性,但配置不允許名為factoryConfig的元素,
例如'multiPool'dbServer
- >
<dbServer name =“abstractServer”abstractive =“true”>
<factoryConfig class =“com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory”>
<property name = “connectionManager”> $ {defaultManager} </ property>
<property name =“sendBufferSize“> 64 </property>
<property name =“receiveBufferSize”> 128 </ property>
<! - mysql port - >
<property name =“port”> 3306 </ property>#設定Amoeba要連線的mysql資料庫的埠,預設是3306
< ! - mysql schema - >
<property name =“schema”> testdb </ property>#設定預設的資料庫,當連線amoeba時,操作表必須顯式的指定資料庫名,即採用dbname.tablename的方式,不支援使用dbname指定預設庫,因為操作會排程到各個後端dbserver
<! - mysql user - >
<property name =“user”> test1 </ property>#設定amoeba連線後端資料庫伺服器的賬號和密碼,因此需要在所有後端資料庫上建立該使用者,並授權amoeba伺服器可連線
<property name =“password”> 111111 </ property>
</ factoryConfig><poolConfig class="com.meidusa.toolkit.common.poolable.PoolableObjectPool">
<property name="maxActive">500</property> #最大連線數,預設500
<property name="maxIdle">500</property> #最大空閒連線數
<property name="minIdle">10</property> #最新空閒連線數
<property name="minEvictableIdleTimeMillis">600000</property>
<property name="timeBetweenEvictionRunsMillis">600000</property>
<property name="testOnBorrow">true</property>
<property name="testOnReturn">true</property>
<property name="testWhileIdle">true</property>
</poolConfig>
</dbServer><dbServer name =“ writedb ”parent =“abstractServer”>#設定一個後端可寫的dbServer,這裡定義為writedb,這個名字可以任意命名,後面還會用到
<factoryConfig>
<! - mysql ip - >
<property name =“ipAddress”> 192.168.112.148 </ property>#設定後端可寫dbserver,即master
</ factoryConfig>
</ dbServer>
<dbServer name =“ slave ”parent =“abstractServer”>#設定後端可讀dbserver,即slave
<factoryConfig>
<! - mysql ip - >
<property name =“ipAddress”> 192.168.112.149 </ property>
</ factoryConfig>
</ dbServer>
<dbServer name =“ myslave“virtual =”true“>#設定定義一個虛擬的dbserver,實際上相當於一個dbserver組,這裡將可讀的資料庫ip統一放到一個組中,將這個組的名字命名為myslave
<poolConfig class =” com.meidusa.amoeba.server.MultipleServerPool“>
<! - 負載均衡策略:1 = ROUNDROBIN,2 = WEIGHTBASED,3 = HA - >
<property name =”loadbalance“> 1 </ property>#選擇排程演算法,1表示複製均衡,2表示權重,3表示HA,這裡選擇1
<! - 用逗號分隔,例如:server1,server2,server1 - >
<property name =“poolNames”> slave </ property># myslave組成員
</ poolConfig>
</ dbServer>
</ amoeba:dbServers>
另一個配置檔案amoeba.xml
注意紅色部分內容
[root @ bogon amoeba] #vim conf / amoeba.xml
<?xml version =“1.0”encoding =“gbk”?><!DOCTYPE amoeba:configuration SYSTEM“amoeba.dtd”>
<amoeba:configuration xmlns:amoeba =“http://amoeba.meidusa.com/”><proxy>
<! - service class必須實現com.meidusa.amoeba.service.Service - >
<service name =“Amoeba for Mysql”class =“com.meidusa.amoeba.mysql.server.MySQLService”>
<! - port - >
<property name =“port”> 8066 </ property>#設定amoeba監聽的埠,預設是8066
<! - bind ipAddress - >#下面配置監聽的介面,如果不設定,預設監聽所以的IP,0.0.0.0表示都可訪問
<! -
<property name =“ipAddress”> 0.0.0.0 </ property>
- >
<property name =“connectionFactory”>
<bean class =“com.meidusa .amoeba.mysql.net。MysqlClientConnectionFactory“>
<property name =“sendBufferSize”> 128 </ property>
<property name =“receiveBufferSize”> 64 </ property>
</ bean>
</ property>
<property name =“authenticateProvider”>
<bean class =“com.meidusa .amoeba.mysql.server.MysqlClientAuthenticator“>
#提供客戶端連線amoeba時需要使用這裡設定的賬號(這裡的賬號密碼和amoeba連線後端資料庫伺服器的密碼無關)
<property name =“user”> root </ property>
<property name =“password”> 123456 </ property>
<property name =“filter”>
<bean class =“com.meidusa.toolkit.net.authenticate.server.IPAccessController”>
<property name =“ipFile”> $ {amoeba.home} /conf/access_list.conf </ property>
</ bean>
</ property>
</ bean>
</ property>
</ service>
<runtime class =“com.meidusa.amoeba.mysql.context。 MysqlRuntimeContext“>
<! - 代理伺服器客戶端程序執行緒大小 - >
<property name =“executeThreadSize”> 128 </ property>
<! - 每個連線快取 預準備語句大小 - >
<property name =“statementCacheSize”> 500 </ property>
<! - default charset - >
<property name =“serverCharset”> utf8 </ property>
<! - 查詢超時(預設值:60秒,TimeUnit:秒) - >
<property name =“queryTimeout”> 60 </ property>
</ runtime>
</ proxy>
<! -
每個ConnectionManager將作為執行緒
管理器負責啟動對於連線IO讀取,死亡檢測
- >
<connectionManagerList>
<connectionManager name =“defaultManager“class =”com.meidusa.toolkit.net.MultiConnectionManagerWrapper“>
<property name =“subManagerClassName”> com.meidusa.toolkit.net.AuthingableConnectionManager </ property>
</ connectionManager>
</ connectionManagerList>
<! - default using file loader - >
<dbServerLoader class =“com.meidusa.amoeba .context.DBServerConfigFileLoader“>
<property name =”configFile“> $ {amoeba.home} /conf/dbServers.xml </ property>
</ dbServerLoader>
<queryRouter class =”com.meidusa.amoeba.mysql.parser.MysqlQueryRouter “>
<property name =”ruleLoader“>
<bean class =”com.meidusa.amoeba.route.TableRuleFileLoader“>
<property name =“ruleFile”> $ {amoeba.home} /conf/rule.xml </ property>
<property name =“functionFile”> $ {amoeba.home} /conf/ruleFunctionMap.xml </ property>
</ bean>
</ property>
<property name =“sqlFunctionFile”> $ {amoeba.home} / conf / functionMap .xml </ property>
<property name =“LRUMapSize”> 1500 </ property>
<property name =“defaultPool”> writedb </ property>#設定amoeba預設的池,這裡設定為writedb
<property name =“writePool” > writedb </ property>#這兩個選項預設是登出掉的,需要取消註釋,這裡用來指定前面定義好的倆個讀寫池
<property name =“readPool”> myslave </ property>#
<property NAME =”needParse“> true </ property>
</ queryRouter>
</ amoeba:configuration>
以上內容便配置完成了amoeba的配置檔案。
下面開始分別給master和slave伺服器上為amoeba授權
mysql> GRANT ALL ON testdb.* TO 'test1'@'192.168.112.150' IDENTIFIED BY '111111';
Query OK, 0 rows affected (0.05 sec)
mysql> flush privileges;
Query OK, 0 rows affected (0.02 sec)
master和slave伺服器都要授權。
這個賬戶密碼要和IP地址要和amoeba配置檔案裡的賬號密碼一樣,IP為amoeba伺服器的IP一致。同時要記住關閉amoeba的防火牆。
shell > service iptables stop
啟動amoeba
shell > /usr/local/amoeba/bin/amoeba start
到此所有配置已經完成。
測試
遠端登陸的mysql客戶端通過指定amoeba配置檔案中指定的使用者名稱,密碼,和埠以及amoeba伺服器IP地址連結的MySQL資料庫。這裡建議關閉amoeba伺服器的防火牆。
以前你的JDBC連線:
jdbc.driver=com.mysql.jdbc.Driver
jdbc.url=jdbc:mysql://localhost:3306/testdb?useUnicode=true&characterEncoding=utf8
jdbc.username=root
jdbc.password=123456
現在你的JDBC連線:
jdbc.driver=com.mysql.jdbc.Driver
jdbc.url=jdbc:mysql://192.168.112.150:8066/testdb?useUnicode=true&characterEncoding=utf8
jdbc.username=root #這個需要與amoeba.xml中配置的賬號密碼一致
jdbc.password=123456
amoeba其他配置檔案:
Amoeba主配置檔案($AMOEBA_HOME/conf/amoeba.xml),用來配置Amoeba服務的基本引數,如Amoeba主機地址、埠、認證方式、用於連線的使用者名稱、密碼、執行緒數、超時時間、其他配置檔案的位置等。
資料庫伺服器配置檔案($AMOEBA_HOME/conf/dbServers.xml),用來儲存和配置Amoeba所代理的資料庫伺服器的資訊,如:主機IP、埠、使用者名稱、密碼等。
切分規則配置檔案($AMOEBA_HOME/conf/rule.xml),用來配置切分規則。
資料庫函式配置檔案($AMOEBA_HOME/conf/functionMap.xml),用來配置資料庫函式的處理方法,Amoeba將使用該配置檔案中的方法解析資料庫函式。
切分規則函式配置檔案($AMOEBA_HOME/conf/ruleFunctionMap.xml),用來配置切分規則中使用的使用者自定義函式的處理方法。
訪問規則配置檔案($AMOEBA_HOME/conf/access_list.conf),用來授權或禁止某些伺服器IP訪問Amoeba。
日誌規格配置檔案($AMOEBA_HOME/conf/log4j.xml),用來配置Amoeba輸出日誌的級別和方式。
本文參考文章: