mycat 讀寫分離配置
阿新 • • 發佈:2019-01-10
mycat簡單介紹(部分摘自官網)
支援1000億大資料中國第一開源分散式資料庫中介軟體
Mycat之前世今生
2013年阿里的Cobar在某大型專案中使用過程中發現存在一些比較嚴重的問題,於是第一代改良版——Mycat誕生 Mycat開源以後,一些Cobar的使用者參與了Mycat的開發,最終Mycat發展成為一個由眾多軟體公司的實力派架構師和資深開發人員維護的社群型開源軟體。 2014年Mycat首次在上海的《中華架構師》大會上對外宣講,引發圍觀,更多的人蔘與進來,隨後越來越多的專案採用了Mycat 2015年6月為止,Mycat專案總共有17個Committer,其中核心參與者的年薪總額超過300萬 2015年5月,由核心參與者們一起編寫的第一本官方權威指南《Mycat權威指南》電子版釋出,眾籌預售超過200本,成為開源專案中的首創。 截至2015年4月,超過60個專案採用Mycat,涵蓋電信、電子商務、物流、移動應用、O2O的眾多領域和公司。
Mycat是什麼
一個可以用於MySQL讀寫分離和高可用的中介軟體
一個模擬為MySQL Server的超級資料庫
一個能平滑擴充套件支援1000億大表的分散式資料庫系統
一個可管控多種關係資料庫的資料庫路由器
一個平滑從關係資料升級到大資料的應用中介軟體
1.建立mycat使用者
useradd -d /home/mycat mycat
2.下載沒有cat http://dl.mycat.io/1.6.5/
選擇Mycat-server-1.6.5-release-20180122220033-linux.tar.gz
解壓並放到local目錄下
tar -zxvf Mycat-server -1.6.5-release-20180122220033-linux.tar.gz
mv mycat ~/local/mycat
3.修改配置檔案
主要修改兩個配置檔案:
schema.xml和server.xml
schema.xml 注:本次僅僅配置讀寫分離,所以多餘的都刪掉了
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!-- TESTDB1 是mycat的邏輯庫名稱,連結需要用的 -->
<schema name="TESTDB1" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"></schema>
<!-- database 是MySQL資料庫的庫名 -->
<dataNode name="dn1" dataHost="localhost1" database="ms_test" />
<!--
dataNode節點中各屬性說明:
name:指定邏輯資料節點名稱;
dataHost:指定邏輯資料節點物理主機節點名稱;
database:指定物理主機節點上。如果一個節點上有多個庫,可使用表示式db$0-99, 表示指定0-99這100個數據庫;
dataHost 節點中各屬性說明:
name:物理主機節點名稱;
maxCon:指定物理主機服務最大支援1000個連線;
minCon:指定物理主機服務最小保持10個連線;
writeType:指定寫入型別;
0,只在writeHost節點寫入;
1,在所有節點都寫入。慎重開啟,多節點寫入順序為預設寫入根據配置順序,第一個掛掉切換另一個;
dbType:指定資料庫型別;
dbDriver:指定資料庫驅動;
balance:指定物理主機服務的負載模式。
0,不開啟讀寫分離機制;
1,全部的readHost與stand by writeHost參與select語句的負載均衡,簡單的說,當雙主雙從模式(M1->S1,M2->S2,並且M1與 M2互為主備),正常情況下,M2,S1,S2都參與select語句的負載均衡;
2,所有的readHost與writeHost都參與select語句的負載均衡,也就是說,當系統的寫操作壓力不大的情況下,所有主機都可以承擔負載均衡;
-->
<dataHost name="localhost1" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- 可以配置多個主從 -->
<writeHost host="hostM1" url="主庫IP:3306" user="root" password="mysql1234">
<!-- 可以配置多個從庫 -->
<readHost host="hostS2" url="從庫IP:3306" user="root" password="mysql1234" />
</writeHost>
</dataHost>
</mycat:schema>
server.xml
<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License");
- you may not use this file except in compliance with the License. - You
may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0
- - Unless required by applicable law or agreed to in writing, software -
distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT
WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the
License for the specific language governing permissions and - limitations
under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
<system>
<property name="nonePasswordLogin">0</property> <!-- 0為需要密碼登陸、1為不需要密碼登陸 ,預設為0,設定為1則需要指定預設賬戶-->
<property name="useHandshakeV10">1</property>
<property name="useSqlStat">1</property> <!-- 1為開啟實時統計、0為關閉 -->
<property name="useGlobleTableCheck">0</property> <!-- 1為開啟全加班一致性檢測、0為關閉 -->
<property name="sequnceHandlerType">2</property>
<property name="subqueryRelationshipCheck">false</property> <!-- 子查詢中存在關聯查詢的情況下,檢查關聯欄位中是否有分片欄位 .預設 false -->
<!-- <property name="useCompression">1</property>--> <!--1為開啟mysql壓縮協議-->
<!-- <property name="fakeMySQLVersion">5.6.20</property>--> <!--設定模擬的MySQL版本號-->
<!-- <property name="processorBufferChunk">40960</property> -->
<!--
<property name="processors">1</property>
<property name="processorExecutor">32</property>
-->
<!--預設為type 0: DirectByteBufferPool | type 1 ByteBufferArena | type 2 NettyBufferPool -->
<property name="processorBufferPoolType">0</property>
<!--預設是65535 64K 用於sql解析時最大文字長度 -->
<!--<property name="maxStringLiteralLength">65535</property>-->
<!--<property name="sequnceHandlerType">0</property>-->
<!--<property name="backSocketNoDelay">1</property>-->
<!--<property name="frontSocketNoDelay">1</property>-->
<!--<property name="processorExecutor">16</property>-->
<!--
<property name="serverPort">8066</property> <property name="managerPort">9066</property>
<property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property>
<property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
<!--分散式事務開關,0為不過濾分散式事務,1為過濾分散式事務(如果分散式事務內只涉及全域性表,則不過濾),2為不過濾分散式事務,但是記錄分散式事務日誌-->
<property name="handleDistributedTransactions">0</property>
<!--
off heap for merge/order/group/limit 1開啟 0關閉
-->
<property name="useOffHeapForMerge">1</property>
<!--
單位為m
-->
<property name="memoryPageSize">64k</property>
<!--
單位為k
-->
<property name="spillsFileBufferSize">1k</property>
<property name="useStreamOutput">0</property>
<!--
單位為m
-->
<property name="systemReserveMemorySize">384m</property>
<!--是否採用zookeeper協調切換 -->
<property name="useZKSwitch">false</property>
<!-- XA Recovery Log日誌路徑 -->
<!--<property name="XARecoveryLogBaseDir">./</property>-->
<!-- XA Recovery Log日誌名稱 -->
<!--<property name="XARecoveryLogBaseName">tmlog</property>-->
</system>
<!-- 全域性SQL防火牆設定 -->
<!--白名單可以使用萬用字元%或著*-->
<!--例如<host host="127.0.0.*" user="root"/>-->
<!--例如<host host="127.0.*" user="root"/>-->
<!--例如<host host="127.*" user="root"/>-->
<!--例如<host host="1*7.*" user="root"/>-->
<!--這些配置情況下對於127.0.0.1都能以root賬戶登入-->
<!--
<firewall>
<whitehost>
<host host="1*7.0.0.*" user="root"/>
</whitehost>
<blacklist check="false">
</blacklist>
</firewall>
-->
<!-- 讀寫都可用的使用者 -->
<user name="root" defaultAccount="true">
<property name="password">123456</property>
<property name="schemas">TESTDB1</property>
<!-- 表級 DML 許可權設定 -->
<!--
<privileges check="false">
<schema name="TESTDB" dml="0110" >
<table name="tb01" dml="0000"></table>
<table name="tb02" dml="1111"></table>
</schema>
</privileges>
-->
</user>
<!-- 只讀使用者 -->
<user name="user">
<property name="password">user</property>
<property name="schemas">TESTDB1</property>
<property name="readOnly">true</property>
</user>
</mycat:server>
啟動之前最好將log的級別改為debug,這樣方便查錯
修改方法:
進入mycat/conf
vim log4j2.xml
<asyncRoot level="info" includeLocation="true">
改為
<asyncRoot level="trace" includeLocation="true">
啟動
進入mycat/bin
cd ~/local/mycat/bin
./mycat start
驗證:
進入mycat/bin目錄
./mysql -uuser -puser -h127.0.0.1 -P8066 TESTDB1
回車
成功!可以插入和查詢進行驗證.
遇到的錯誤:
[[email protected] bin]# ./mycat console
Running Mycat-server...
wrapper | --> Wrapper Started as Console
wrapper | Launching a JVM...
wrapper | JVM exited while loading the application.
jvm 1 | Invalid maximum heap size: -Xmx4G
jvm 1 | The specified size exceeds the maximum representable size.
jvm 1 | Error: Could not create the Java Virtual Machine.
jvm 1 | Error: A fatal exception has occurred. Program will exit.
wrapper | INT trapped. Shutting down.
wrapper | <-- Wrapper Stopped
解決辦法:
#最大記憶體不足Xmx4G,設定相關啟動的配置檔案
vi /usr/local/mycat/conf/wrapper.conf
wrapper.java.additional.10=-Xmx4G
wrapper.java.additional.11=-Xms1G
改為:
wrapper.java.additional.10=-Xmx512M
wrapper.java.additional.11=-Xms64M