資料庫讀寫分離、分表分庫——Mycat
系統開發中,資料庫是非常重要的一個點。除了程式的本身的優化,如:SQL語句優化、程式碼優化,資料庫的處理本身優化也是非常重要的。主從、熱備、分表分庫等都是系統發展遲早會遇到的技術問題問題。Mycat是一個廣受好評的資料庫中介軟體,已經在很多產品上進行使用了。希望通過這篇文章的介紹,能學會Mycat的使用。
安裝
Mycat官網:http://www.mycat.io/
可以瞭解下Mycat的背景和應用情況,這樣使用起來比較有信心。
Mycat下載地址:http://dl.mycat.io/
官網有個文件,屬於詳細的介紹,初次入門,看起來比較花時間。
下載:
建議大家選擇 1.6-RELEASE 版本,畢竟是比較穩定的版本。
安裝:
根據不同的系統選擇不同的版本。包括linux、windows、mac,作者考慮還是非常周全的,當然,也有原始碼版的。(ps:原始碼版的下載後,只要配置正確,就可以正常執行除錯,這個贊一下。)
Mycat的安裝其實只要解壓下載的目錄就可以了,非常簡單。
安裝完成後,目錄如下:
目錄 | 說明 |
---|---|
bin | mycat命令,啟動、重啟、停止等 |
catlet | catlet為Mycat的一個擴充套件功能 |
conf | Mycat 配置資訊,重點關注 |
lib | Mycat引用的jar包,Mycat是java開發的 |
logs | 日誌檔案,包括Mycat啟動的日誌和執行的日誌。 |
配置
Mycat的配置檔案都在conf目錄裡面,這裡介紹幾個常用的檔案:
檔案 | 說明 |
---|---|
server.xml | Mycat的配置檔案,設定賬號、引數等 |
schema.xml | Mycat對應的物理資料庫和資料庫表的配置 |
rule.xml | Mycat分片(分庫分表)規則 |
Mycat的架構其實很好理解,Mycat是代理,Mycat後面就是物理資料庫。和Web伺服器的Nginx類似。對於使用者來說,訪問的都是Mycat,不會接觸到後端的資料庫。
我們現在做一個主從、讀寫分離,簡單分表的示例。結構如下圖:
伺服器 | IP | 說明 |
---|---|---|
Mycat | 192.168.0.2 | mycat伺服器,連線資料庫時,連線此伺服器 |
database1 | 192.168.0.3 | 物理資料庫1,真正儲存資料的資料庫 |
database2 | 192.168.0.4 | 物理資料庫2,真正儲存資料的資料庫 |
Mycat作為主資料庫中介軟體,肯定是與程式碼弱關聯的,所以程式碼是不用修改的,使用Mycat後,連線資料庫是不變的,預設埠是8066。連線方式和普通資料庫一樣,如:jdbc:mysql://192.168.0.2:8066/
server.xml
示例
<user name="test">
<property name="password">test</property>
<property name="schemas">lunch</property>
<property name="readOnly">false</property>
<!-- 表級 DML 許可權設定 -->
<!--
<privileges check="false">
<schema name="TESTDB" dml="0110" >
<table name="tb01" dml="0000"></table>
<table name="tb02" dml="1111"></table>
</schema>
</privileges>
-->
</user>
重點關注下面這段,其他預設即可。
引數 | 說明 |
---|---|
user | 使用者配置節點 |
--name | 登入的使用者名稱,也就是連線Mycat的使用者名稱 |
--password | 登入的密碼,也就是連線Mycat的密碼 |
--schemas | 資料庫名,這裡會和schema.xml中的配置關聯,多個用逗號分開,例如需要這個使用者需要管理兩個資料庫db1,db2,則配置db1,dbs |
--privileges | 配置使用者針對表的增刪改查的許可權,具體見文件吧 |
我這裡配置了一個賬號test 密碼也是test,針對資料庫lunch,讀寫許可權都有,沒有針對表做任何特殊的許可權。
schema.xml
schema.xml是最主要的配置項,首先看我的配置檔案。
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!-- 資料庫配置,與server.xml中的資料庫對應 -->
<schema name="lunch" checkSQLschema="false" sqlMaxLimit="100">
<table name="lunchmenu" dataNode="dn1" />
<table name="restaurant" dataNode="dn1" />
<table name="userlunch" dataNode="dn1" />
<table name="users" dataNode="dn1" />
<table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2" rule="mod-long" />
</schema>
<!-- 分片配置 -->
<dataNode name="dn1" dataHost="test1" database="lunch" />
<dataNode name="dn2" dataHost="test2" database="lunch" />
<!-- 物理資料庫配置 -->
<dataHost name="test1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user();</heartbeat>
<writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">
</writeHost>
</dataHost>
<dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user();</heartbeat>
<writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456">
</writeHost>
</dataHost>
</mycat:schema>
引數 | 說明 |
---|---|
schema | 資料庫設定,此資料庫為邏輯資料庫,name與server.xml中schema對應 |
dataNode | 分片資訊,也就是分庫相關配置 |
dataHost | 物理資料庫,真正儲存資料的資料庫 |
每個節點的屬性逐一說明:
schema:
屬性 | 說明 |
---|---|
name | 邏輯資料庫名,與server.xml中的schema對應 |
checkSQLschema | 資料庫字首相關設定,建議看文件,這裡暫時設為folse |
sqlMaxLimit | select 時預設的limit,避免查詢全表 |
table:
屬性 | 說明 |
---|---|
name | 表名,物理資料庫中表名 |
dataNode | 表儲存到哪些節點,多個節點用逗號分隔。節點為下文dataNode設定的name |
primaryKey | 主鍵欄位名,自動生成主鍵時需要設定 |
autoIncrement | 是否自增 |
rule | 分片規則名,具體規則下文rule詳細介紹 |
dataNode
屬性 | 說明 |
---|---|
name | 節點名,與table中dataNode對應 |
datahost | 物理資料庫名,與datahost中name對應 |
database | 物理資料庫中資料庫名 |
dataHost
屬性 | 說明 |
---|---|
name | 物理資料庫名,與dataNode中dataHost對應 |
balance | 均衡負載的方式 |
writeType | 寫入方式 |
dbType | 資料庫型別 |
heartbeat | 心跳檢測語句,注意語句結尾的分號要加。 |
應用場景
資料庫分表分庫
配置如下:
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!-- 資料庫配置,與server.xml中的資料庫對應 -->
<schema name="lunch" checkSQLschema="false" sqlMaxLimit="100">
<table name="lunchmenu" dataNode="dn1" />
<table name="restaurant" dataNode="dn1" />
<table name="userlunch" dataNode="dn1" />
<table name="users" dataNode="dn1" />
<table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2" rule="mod-long" />
</schema>
<!-- 分片配置 -->
<dataNode name="dn1" dataHost="test1" database="lunch" />
<dataNode name="dn2" dataHost="test2" database="lunch" />
<!-- 物理資料庫配置 -->
<dataHost name="test1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user();</heartbeat>
<writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">
</writeHost>
</dataHost>
<dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user();</heartbeat>
<writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456">
</writeHost>
</dataHost>
</mycat:schema>
我在192.168.0.2、192.168.0.3均有資料庫lunch。
lunchmenu、restaurant、userlunch、users這些表都只寫入節點dn1,也就是192.168.0.2這個服務,而dictionary寫入了dn1、dn2兩個節點,也就是192.168.0.2、192.168.0.3這兩臺伺服器。分片的規則為:mod-long。
主要關注rule屬性,rule屬性的內容來源於rule.xml這個檔案,Mycat支援10種分表分庫的規則,基本能滿足你所需要的要求,這個必須贊一個,其他資料庫中介軟體好像都沒有這麼多。
table中的rule屬性對應的就是rule.xml檔案中tableRule的name,具體有哪些分表和分庫的實現,建議還是看下文件。我這裡選擇的mod-long就是將資料平均拆分。因為我後端是兩臺物理庫,所以rule.xml中mod-long對應的function count為2,見下面部分程式碼:
<tableRule name="mod-long">
<rule>
<columns>id</columns>
<algorithm>mod-long</algorithm>
</rule>
</tableRule>
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
<!-- how many data nodes -->
<property name="count">2</property>
</function>
資料庫讀寫分離
配置如下:
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!-- 資料庫配置,與server.xml中的資料庫對應 -->
<schema name="lunch" checkSQLschema="false" sqlMaxLimit="100">
<table name="lunchmenu" dataNode="dn1" />
<table name="restaurant" dataNode="dn1" />
<table name="userlunch" dataNode="dn1" />
<table name="users" dataNode="dn1" />
<table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1" />
</schema>
<!-- 分片配置 -->
<dataNode name="dn1" dataHost="test1" database="lunch" />
<!-- 物理資料庫配置 -->
<dataHost name="test1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user();</heartbeat>
<writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">
<readHost host="hostM1" url="192.168.0.3:3306" user="root" password="123456">
</readHost>
</writeHost>
</dataHost>
</mycat:schema>
這樣的配置與前一個示例配置改動如下:
刪除了table分配的規則,以及datanode只有一個
datahost也只有一臺,但是writehost總添加了readhost,balance改為1,表示讀寫分離。
以上配置達到的效果就是102.168.0.2為主庫,192.168.0.3為從庫。
注意:Mycat主從分離只是在讀的時候做了處理,寫入資料的時候,只會寫入到writehost,需要通過mycat的主從複製將資料複製到readhost,這個問題當時候我糾結了好久,資料寫入writehost後,readhost一直沒有資料,以為是自己配置的問題,後面才發現Mycat就沒有實現主從複製的功能,畢竟資料庫本身自帶的這個功能才是最高效穩定的。
至於其他的場景,如同時主從和分表分庫也是支援的了,只要瞭解這個實現以後再去修改配置,都是可以實現的。而熱備及故障專業官方推薦使用haproxy配合一起使用,大家可以試試。
使用
Mycat的啟動也很簡單,啟動命令在Bin目錄:
##啟動
mycat start
##停止
mycat stop
##重啟
mycat restart
如果在啟動時發現異常,在logs目錄中檢視日誌。
- wrapper.log 為程式啟動的日誌,啟動時的問題看這個
- mycat.log 為指令碼執行時的日誌,SQL指令碼執行報錯後的具體錯誤內容,檢視這個檔案。mycat.log是最新的錯誤日誌,歷史日誌會根據時間生成目錄儲存。
mycat啟動後,執行命令不成功,可能實際上配置有錯誤,導致後面的命令沒有很好的執行。
Mycat帶來的最大好處就是使用是完全不用修改原有程式碼的,在mycat通過命令啟動後,你只需要將資料庫連線切換到Mycat的地址就可以了。如下面就可以進行連線了:
mysql -h192.168.0.1 -P8806 -uroot -p123456
連線成功後可以執行sql指令碼了。
所以,可以直接通過sql管理工具(如:navicat、datagrip)連線,執行指令碼。我一直用datagrip來進行日常簡單的管理,這個很方便。
Mycat還有一個管理的連線,埠號是9906.
mysql -h192.168.0.1 -P9906 -uroot -p123456
連線後可以根據管理命令檢視Mycat的執行情況,當然,喜歡UI管理方式的人,可以安裝一個Mycat-Web來進行管理,有興趣自行搜尋。
簡而言之,開發中使用Mycat和直接使用Mysql機會沒有差別。
常見問題
使用Mycat後總會遇到一些坑,我將自己遇到的一些問題在這裡列一下,希望能與大家有共鳴:
-
Mycat是不是配置以後,就能完全解決分表分庫和讀寫分離問題?
Mycat配合資料庫本身的複製功能,可以解決讀寫分離的問題,但是針對分表分庫的問題,不是完美的解決。或者說,至今為止,業界沒有完美的解決方案。
分表分庫寫入能完美解決,但是,不能完美解決主要是聯表查詢的問題,Mycat支援兩個表聯表的查詢,多餘兩個表的查詢不支援。 其實,很多資料庫中介軟體關於分表分庫後查詢的問題,都是需要自己實現的,而且節本都不支援聯表查詢,Mycat已經算做地非常先進了。
分表分庫的後聯表查詢問題,大家通過合理資料庫設計來避免。 -
Mycat支援哪些資料庫,其他平臺如 .net、PHP能用嗎?
官方說了,支援的資料庫包括MySQL、SQL Server、Oracle、DB2、PostgreSQL 等主流資料庫,很贊。
儘量用Mysql,我試過SQL Server,會有些小問題,因為部分語法有點差異。 -
Mycat 非JAVA平臺如 .net、PHP能用嗎?
可以用。這一點MyCat做的也很棒。
參考
相關推薦
資料庫讀寫分離、分表分庫——Mycat
系統開發中,資料庫是非常重要的一個點。除了程式的本身的優化,如:SQL語句優化、程式碼優化,資料庫的處理本身優化也是非常重要的。主從、熱備、分表分庫等都是系統發展遲早會遇到的技術問題問題。Mycat是一個廣受好評的資料庫中介軟體,已經在很多產品上進行使用了。希望通過這篇
學會資料庫讀寫分離、分表分庫——用Mycat,這一篇就夠了!
轉: https://www.cnblogs.com/joylee/p/7513038.html 系統開發中,資料庫是非常重要的一個點。除了程式的本身的優化,如:SQL語句優化、程式碼優化,資料庫的處理本身優化也是非常重要的。主從、熱備、分表分庫等都是系統
Mycat分庫分表的簡單實踐 / 用Mycat,學會資料庫讀寫分離、分表分庫
原創 楊建榮的學習筆記 2017-09-06 10:03 //沒找到原創地址,轉載別人的也沒留地址 。。。 MySQL的使用場景中,讀寫分離只是方案中的一部分,想要擴充套件,勢必會用到分庫分表,可喜的是Mycat裡已經做到了,今天花時間測試了一下,感覺還不錯。
Mycat分庫分表的簡單實踐 / 用Mycat,學會資料庫讀寫分離、分表分庫
MySQL的使用場景中,讀寫分離只是方案中的一部分,想要擴充套件,勢必會用到分庫分表,可喜的是Mycat裡已經做到了,今天花時間測試了一下,感覺還不錯。 關於分庫分表 當然自己也理了一下,分庫分表的這些內容,如果分成幾個策略或者階段,大概有下面的幾種。 最上面的第一種是直接拆表,比如資料庫db1下面有te
使用Mycat實現Mysql資料庫的主從複製、讀寫分離、分表分庫、負載均衡和高可用
Mysql叢集搭建 使用Mycat實現Mysql資料庫的主從複製、讀寫分離、分表分庫、負載均衡和高可用(Haproxy+keepalived),總體架構: 說明:資料庫的訪問通過keepalived的虛擬IP訪問HAProxy負載均衡器,實現HAProxy的高可用,HAProxy用於實
學會數據庫讀寫分離、分表分庫——用Mycat
切換 心跳 native 自動生成 拆分 運行 管理命令 users 業界 系統開發中,數據庫是非常重要的一個點。除了程序的本身的優化,如:SQL語句優化、代碼優化,數據庫的處理本身優化也是非常重要的。主從、熱備、分表分庫等都是系統發展遲早會遇到的技術問題問題。Myca
淺談資料庫讀寫分離、垂直拆分、水平拆分
一、讀寫分離 二、垂直拆分、水平拆分 1.垂直劃分 (1)按照業務將表進行分類,垂直拆分是把不同的表拆到不同的資料庫中。資料庫專庫專用,比如拆為Products、Users、Deal庫。 缺點: (1)部分業務表無法join,只能通過介面方式解決,提高了系統複雜度。 (2)受
CentOS7,MySQL主從配置和讀寫分離(MySQL主從、讀寫分離、分散式、資料庫讀寫分離、主從配置)
一、實驗目標搭建兩臺MySQL伺服器,一臺作為主伺服器,一臺作為從伺服器,主伺服器進行寫操作,從伺服器進行讀操作。二、測試環境主資料庫: CentOS7, MySQL15.1 , 192.168.1.233從資料庫: CentOS7, MySQL15.1 , 192.168.
資料庫水平切分的實現原理—分庫、分表、讀寫分離、負載均衡、主從複製
水平切分資料庫的目的 其主要目的是為突破單節點資料庫伺服器的 I/O 能力限制,解決資料庫擴充套件性問題 通過一系列的切分規則將資料水平分佈到不同的DB或table中,在通過相應的DB路由或者table路由規則找到需要查詢的具體的DB或者table,以進行Query操作
使用Mycat實現MySQL的分庫分表、讀寫分離、主從切換
Mycat 分庫分表 讀寫分離 主從切換 Mycat及MySQL實例部署情況:Mycat:IP:10.20.8.57,Port:3310/3311MySQL :db1-M1,IP:10.20.8.126,Port:3306db1-M2,IP:10.20.8.126,Port:3307db2-M
mysql主從複製、讀寫分離、分庫分表、分片
第1章 引言 隨著網際網路應用的廣泛普及,海量資料的儲存和訪問成為了系統設計的瓶頸問題。對於一個大型的網際網路應用,每天幾十億的PV無疑對資料庫造成了相當高的負載。對於系統的穩定性和擴充套件性造成了極大的問題。通過資料切分來提高網站效能,橫向擴充套件資料層已經成為架構研發人員首選的方式。 水平切分資料庫:可
Mycat實現MySQL的分庫分表、讀寫分離、主從切換
mysql> show tables;+--------------+| Tables in db |+--------------+| t1 |+--------------+1 row in set (0.00 sec)mysql> desc t1;+---------+-
MySQL 對於千萬級的大表要怎麼優化?(讀寫分離、水平拆分、垂直拆分)
思考 如何設計或優化千萬級別的大表?此外無其他資訊,個人覺得這個話題有點範,就只好簡單說下該如何做,對於一個儲存設計,必須考慮業務特點,收集的資訊如下: 1.資料的容量:1-3年內會大概多少條資料,每條資料大概多少位元組; 2.資料項:是否有大欄位,那些欄位的值是否經常
6MySQL 主從同步 、 MySQL 讀寫分離 、 MySQL 性能調優
chang 時間 form 變量名 col 最大 rom 驗證 uptime day06一、mysql主從同步 二、數據讀寫分離三、MySQL優化++++++++++++++++++++++++++++++++一、mysql主從同步 1.1 主從同步介紹?從庫服務器自動同
mysql基礎+主從復制、讀寫分離、高可用原理
mysql基礎1)創建數據庫 create database wpj1105;2)創建數據庫 create database wpj1105;3)判斷是否存在庫 : drop database if exists wpj1105;4)使用該數據庫
主從同步、讀寫分離、mysql性能調優(軟優化)
tab ren 主庫 its 使用命令 mysql lee 運行 lte 配置mysql主從同步1 主從同步的作用:讓slave身份的數據庫服務器自動同步 master身份的數據庫服務器上的數據。 一、主數據庫服務器的配置192.168.4.121 用戶授權mysql&g
Amoeba搭建高可用Mysql集群(實現Mysql主從復制、讀寫分離、負載均衡)
proc 分布式數據庫 啟動 parent 分布 技術分享 事務 admin str Amoeba是什麽? Amoeba(變形蟲)項目,該開源框架於2008年 開始發布一款 Amoeba for Mysql軟件。這個軟件致力於MySQL的分布式數據庫前端代理層,它主要在應用
部署MongoDB復制集(主從復制、讀寫分離、高可用)
rest 讀取 讀寫分離 分享圖片 pro vim 文件 () 同步數據 MongoDB 復制集 復制集(Replica Sets)是額外的數據副本,是跨多個服務器同步數據的過程,復制集提供了冗余備份並提高了數據的可用性,通過復制集可以對硬件故障和中斷的服務進行恢復。
JAVAEE——宜立方商城13:Mycat數據庫分片、主從復制、讀寫分離、100%Linux中成功安裝Mysql的方法
server structure chang exe under have 重新啟動 switch option 1 海量數據的存儲問題 如今隨著互聯網的發展,數據的量級也是撐指數的增長,從GB到TB到PB。對數據的各種操作也是愈加的困難,傳統的關系性數據庫已經無法滿足快速
mysql proxy 資料庫讀寫分離字符集亂碼
mysql proxy 資料庫讀寫分離字符集亂碼 解決辦法 在對應配置後端資料庫伺服器的配置.cnf中加入如下程式碼 init-connect='SET NAME UTF8' skip-character-set-client-handshake cha