1. 程式人生 > >資料庫讀寫分離、分表分庫——Mycat

資料庫讀寫分離、分表分庫——Mycat

系統開發中,資料庫是非常重要的一個點。除了程式的本身的優化,如:SQL語句優化、程式碼優化,資料庫的處理本身優化也是非常重要的。主從、熱備、分表分庫等都是系統發展遲早會遇到的技術問題問題。Mycat是一個廣受好評的資料庫中介軟體,已經在很多產品上進行使用了。希望通過這篇文章的介紹,能學會Mycat的使用。

安裝

Mycat官網:http://www.mycat.io/
可以瞭解下Mycat的背景和應用情況,這樣使用起來比較有信心。

Mycat下載地址:http://dl.mycat.io/
官網有個文件,屬於詳細的介紹,初次入門,看起來比較花時間。

下載:
建議大家選擇 1.6-RELEASE 版本,畢竟是比較穩定的版本。

安裝:
根據不同的系統選擇不同的版本。包括linux、windows、mac,作者考慮還是非常周全的,當然,也有原始碼版的。(ps:原始碼版的下載後,只要配置正確,就可以正常執行除錯,這個贊一下。)

Mycat的安裝其實只要解壓下載的目錄就可以了,非常簡單。
安裝完成後,目錄如下:

目錄 說明
bin mycat命令,啟動、重啟、停止等
catlet catlet為Mycat的一個擴充套件功能
conf Mycat 配置資訊,重點關注
lib Mycat引用的jar包,Mycat是java開發的
logs 日誌檔案,包括Mycat啟動的日誌和執行的日誌。

配置

Mycat的配置檔案都在conf目錄裡面,這裡介紹幾個常用的檔案:

檔案 說明
server.xml Mycat的配置檔案,設定賬號、引數等
schema.xml Mycat對應的物理資料庫和資料庫表的配置
rule.xml Mycat分片(分庫分表)規則

Mycat的架構其實很好理解,Mycat是代理,Mycat後面就是物理資料庫。和Web伺服器的Nginx類似。對於使用者來說,訪問的都是Mycat,不會接觸到後端的資料庫。
我們現在做一個主從、讀寫分離,簡單分表的示例。結構如下圖:

伺服器 IP 說明
Mycat 192.168.0.2 mycat伺服器,連線資料庫時,連線此伺服器
database1 192.168.0.3 物理資料庫1,真正儲存資料的資料庫
database2 192.168.0.4 物理資料庫2,真正儲存資料的資料庫

Mycat作為主資料庫中介軟體,肯定是與程式碼弱關聯的,所以程式碼是不用修改的,使用Mycat後,連線資料庫是不變的,預設埠是8066。連線方式和普通資料庫一樣,如:jdbc:mysql://192.168.0.2:8066/

server.xml

示例

<user name="test">
        <property name="password">test</property>  
        <property name="schemas">lunch</property>  
        <property name="readOnly">false</property>  
        
        <!-- 表級 DML 許可權設定 -->
        <!--        
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>       
         -->
    </user>

重點關注下面這段,其他預設即可。

引數 說明
user 使用者配置節點
--name 登入的使用者名稱,也就是連線Mycat的使用者名稱
--password 登入的密碼,也就是連線Mycat的密碼
--schemas 資料庫名,這裡會和schema.xml中的配置關聯,多個用逗號分開,例如需要這個使用者需要管理兩個資料庫db1,db2,則配置db1,dbs
--privileges 配置使用者針對表的增刪改查的許可權,具體見文件吧

我這裡配置了一個賬號test 密碼也是test,針對資料庫lunch,讀寫許可權都有,沒有針對表做任何特殊的許可權。

schema.xml
schema.xml是最主要的配置項,首先看我的配置檔案。

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

<!-- 資料庫配置,與server.xml中的資料庫對應 -->
    <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100">
        <table name="lunchmenu" dataNode="dn1"  />
        <table name="restaurant" dataNode="dn1"  />
        <table name="userlunch" dataNode="dn1"  />
        <table name="users" dataNode="dn1"  />
        <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2"  rule="mod-long" />

        
    </schema>

<!-- 分片配置 -->
    <dataNode name="dn1" dataHost="test1" database="lunch" />
    <dataNode name="dn2" dataHost="test2" database="lunch" />

<!-- 物理資料庫配置 -->
    <dataHost name="test1" maxCon="1000" minCon="10" balance="0"  writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">  
        </writeHost>
    </dataHost>

    <dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456">  
        </writeHost>
    </dataHost>

</mycat:schema>
引數 說明
schema 資料庫設定,此資料庫為邏輯資料庫,name與server.xml中schema對應
dataNode 分片資訊,也就是分庫相關配置
dataHost 物理資料庫,真正儲存資料的資料庫

每個節點的屬性逐一說明:

schema:

屬性 說明
name 邏輯資料庫名,與server.xml中的schema對應
checkSQLschema 資料庫字首相關設定,建議看文件,這裡暫時設為folse
sqlMaxLimit select 時預設的limit,避免查詢全表

table:

屬性 說明
name 表名,物理資料庫中表名
dataNode 表儲存到哪些節點,多個節點用逗號分隔。節點為下文dataNode設定的name
primaryKey 主鍵欄位名,自動生成主鍵時需要設定
autoIncrement 是否自增
rule 分片規則名,具體規則下文rule詳細介紹

dataNode

屬性 說明
name 節點名,與table中dataNode對應
datahost 物理資料庫名,與datahost中name對應
database 物理資料庫中資料庫名

dataHost

屬性 說明
name 物理資料庫名,與dataNode中dataHost對應
balance 均衡負載的方式
writeType 寫入方式
dbType 資料庫型別
heartbeat 心跳檢測語句,注意語句結尾的分號要加。

應用場景

資料庫分表分庫

配置如下:

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

<!-- 資料庫配置,與server.xml中的資料庫對應 -->
    <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100">
        <table name="lunchmenu" dataNode="dn1"  />
        <table name="restaurant" dataNode="dn1"  />
        <table name="userlunch" dataNode="dn1"  />
        <table name="users" dataNode="dn1"  />
        <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2"  rule="mod-long" />

        
    </schema>

<!-- 分片配置 -->
    <dataNode name="dn1" dataHost="test1" database="lunch" />
    <dataNode name="dn2" dataHost="test2" database="lunch" />

<!-- 物理資料庫配置 -->
    <dataHost name="test1" maxCon="1000" minCon="10" balance="0"  writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">  
        </writeHost>
    </dataHost>

    <dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456">  
        </writeHost>
    </dataHost>

</mycat:schema>

我在192.168.0.2、192.168.0.3均有資料庫lunch。
lunchmenu、restaurant、userlunch、users這些表都只寫入節點dn1,也就是192.168.0.2這個服務,而dictionary寫入了dn1、dn2兩個節點,也就是192.168.0.2、192.168.0.3這兩臺伺服器。分片的規則為:mod-long。
主要關注rule屬性,rule屬性的內容來源於rule.xml這個檔案,Mycat支援10種分表分庫的規則,基本能滿足你所需要的要求,這個必須贊一個,其他資料庫中介軟體好像都沒有這麼多。
table中的rule屬性對應的就是rule.xml檔案中tableRule的name,具體有哪些分表和分庫的實現,建議還是看下文件。我這裡選擇的mod-long就是將資料平均拆分。因為我後端是兩臺物理庫,所以rule.xml中mod-long對應的function count為2,見下面部分程式碼:

<tableRule name="mod-long">
        <rule>
            <columns>id</columns>
            <algorithm>mod-long</algorithm>
        </rule>
    </tableRule>
    
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
        <!-- how many data nodes -->
        <property name="count">2</property>
    </function>

資料庫讀寫分離

配置如下:

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

<!-- 資料庫配置,與server.xml中的資料庫對應 -->
    <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100">
        <table name="lunchmenu" dataNode="dn1"  />
        <table name="restaurant" dataNode="dn1"  />
        <table name="userlunch" dataNode="dn1"  />
        <table name="users" dataNode="dn1"  />
        <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1"  />

        
    </schema>

<!-- 分片配置 -->
    <dataNode name="dn1" dataHost="test1" database="lunch" />


<!-- 物理資料庫配置 -->
    <dataHost name="test1" maxCon="1000" minCon="10" balance="1"  writeType="0" dbType="mysql" dbDriver="native">
        <heartbeat>select user();</heartbeat>
        <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456">  
        <readHost host="hostM1" url="192.168.0.3:3306" user="root" password="123456">   
        </readHost>
        </writeHost>
    </dataHost>


</mycat:schema>

這樣的配置與前一個示例配置改動如下:
刪除了table分配的規則,以及datanode只有一個
datahost也只有一臺,但是writehost總添加了readhost,balance改為1,表示讀寫分離。
以上配置達到的效果就是102.168.0.2為主庫,192.168.0.3為從庫。

注意:Mycat主從分離只是在讀的時候做了處理,寫入資料的時候,只會寫入到writehost,需要通過mycat的主從複製將資料複製到readhost,這個問題當時候我糾結了好久,資料寫入writehost後,readhost一直沒有資料,以為是自己配置的問題,後面才發現Mycat就沒有實現主從複製的功能,畢竟資料庫本身自帶的這個功能才是最高效穩定的。

至於其他的場景,如同時主從和分表分庫也是支援的了,只要瞭解這個實現以後再去修改配置,都是可以實現的。而熱備及故障專業官方推薦使用haproxy配合一起使用,大家可以試試。

使用

Mycat的啟動也很簡單,啟動命令在Bin目錄:

##啟動
mycat start

##停止
mycat stop

##重啟
mycat restart

如果在啟動時發現異常,在logs目錄中檢視日誌。

  • wrapper.log 為程式啟動的日誌,啟動時的問題看這個
  • mycat.log 為指令碼執行時的日誌,SQL指令碼執行報錯後的具體錯誤內容,檢視這個檔案。mycat.log是最新的錯誤日誌,歷史日誌會根據時間生成目錄儲存。

mycat啟動後,執行命令不成功,可能實際上配置有錯誤,導致後面的命令沒有很好的執行。

Mycat帶來的最大好處就是使用是完全不用修改原有程式碼的,在mycat通過命令啟動後,你只需要將資料庫連線切換到Mycat的地址就可以了。如下面就可以進行連線了:

 mysql -h192.168.0.1 -P8806 -uroot -p123456

連線成功後可以執行sql指令碼了。
所以,可以直接通過sql管理工具(如:navicat、datagrip)連線,執行指令碼。我一直用datagrip來進行日常簡單的管理,這個很方便。

Mycat還有一個管理的連線,埠號是9906.

 mysql -h192.168.0.1 -P9906 -uroot -p123456

連線後可以根據管理命令檢視Mycat的執行情況,當然,喜歡UI管理方式的人,可以安裝一個Mycat-Web來進行管理,有興趣自行搜尋。

簡而言之,開發中使用Mycat和直接使用Mysql機會沒有差別。

常見問題

使用Mycat後總會遇到一些坑,我將自己遇到的一些問題在這裡列一下,希望能與大家有共鳴:

  • Mycat是不是配置以後,就能完全解決分表分庫和讀寫分離問題?
    Mycat配合資料庫本身的複製功能,可以解決讀寫分離的問題,但是針對分表分庫的問題,不是完美的解決。或者說,至今為止,業界沒有完美的解決方案。
    分表分庫寫入能完美解決,但是,不能完美解決主要是聯表查詢的問題,Mycat支援兩個表聯表的查詢,多餘兩個表的查詢不支援。 其實,很多資料庫中介軟體關於分表分庫後查詢的問題,都是需要自己實現的,而且節本都不支援聯表查詢,Mycat已經算做地非常先進了。
    分表分庫的後聯表查詢問題,大家通過合理資料庫設計來避免。

  • Mycat支援哪些資料庫,其他平臺如 .net、PHP能用嗎?
    官方說了,支援的資料庫包括MySQL、SQL Server、Oracle、DB2、PostgreSQL 等主流資料庫,很贊。
    儘量用Mysql,我試過SQL Server,會有些小問題,因為部分語法有點差異。

  • Mycat 非JAVA平臺如 .net、PHP能用嗎?
    可以用。這一點MyCat做的也很棒。

參考

相關推薦

資料庫分離分庫——Mycat

系統開發中,資料庫是非常重要的一個點。除了程式的本身的優化,如:SQL語句優化、程式碼優化,資料庫的處理本身優化也是非常重要的。主從、熱備、分表分庫等都是系統發展遲早會遇到的技術問題問題。Mycat是一個廣受好評的資料庫中介軟體,已經在很多產品上進行使用了。希望通過這篇

學會資料庫分離分庫——用Mycat,這一篇就夠了!

轉:     https://www.cnblogs.com/joylee/p/7513038.html 系統開發中,資料庫是非常重要的一個點。除了程式的本身的優化,如:SQL語句優化、程式碼優化,資料庫的處理本身優化也是非常重要的。主從、熱備、分表分庫等都是系統

Mycat分庫的簡單實踐 / 用Mycat,學會資料庫分離分庫

原創 楊建榮的學習筆記 2017-09-06 10:03 //沒找到原創地址,轉載別人的也沒留地址 。。。 MySQL的使用場景中,讀寫分離只是方案中的一部分,想要擴充套件,勢必會用到分庫分表,可喜的是Mycat裡已經做到了,今天花時間測試了一下,感覺還不錯。

Mycat分庫的簡單實踐 / 用Mycat,學會資料庫分離分庫

MySQL的使用場景中,讀寫分離只是方案中的一部分,想要擴充套件,勢必會用到分庫分表,可喜的是Mycat裡已經做到了,今天花時間測試了一下,感覺還不錯。 關於分庫分表 當然自己也理了一下,分庫分表的這些內容,如果分成幾個策略或者階段,大概有下面的幾種。 最上面的第一種是直接拆表,比如資料庫db1下面有te

使用Mycat實現Mysql資料庫的主從複製分離分庫負載均衡和高可用

Mysql叢集搭建 使用Mycat實現Mysql資料庫的主從複製、讀寫分離、分表分庫、負載均衡和高可用(Haproxy+keepalived),總體架構:   說明:資料庫的訪問通過keepalived的虛擬IP訪問HAProxy負載均衡器,實現HAProxy的高可用,HAProxy用於實

學會數據庫分離分庫——用Mycat

切換 心跳 native 自動生成 拆分 運行 管理命令 users 業界 系統開發中,數據庫是非常重要的一個點。除了程序的本身的優化,如:SQL語句優化、代碼優化,數據庫的處理本身優化也是非常重要的。主從、熱備、分表分庫等都是系統發展遲早會遇到的技術問題問題。Myca

淺談資料庫分離垂直拆分水平拆分

一、讀寫分離 二、垂直拆分、水平拆分 1.垂直劃分 (1)按照業務將表進行分類,垂直拆分是把不同的表拆到不同的資料庫中。資料庫專庫專用,比如拆為Products、Users、Deal庫。 缺點: (1)部分業務表無法join,只能通過介面方式解決,提高了系統複雜度。 (2)受

CentOS7,MySQL主從配置和分離(MySQL主從分離分散式資料庫分離主從配置)

一、實驗目標搭建兩臺MySQL伺服器,一臺作為主伺服器,一臺作為從伺服器,主伺服器進行寫操作,從伺服器進行讀操作。二、測試環境主資料庫: CentOS7, MySQL15.1 , 192.168.1.233從資料庫: CentOS7, MySQL15.1 , 192.168.

資料庫水平切分的實現原理—分庫分離負載均衡主從複製

水平切分資料庫的目的 其主要目的是為突破單節點資料庫伺服器的 I/O 能力限制,解決資料庫擴充套件性問題  通過一系列的切分規則將資料水平分佈到不同的DB或table中,在通過相應的DB路由或者table路由規則找到需要查詢的具體的DB或者table,以進行Query操作

使用Mycat實現MySQL的分庫分離主從切換

Mycat 分庫分表 讀寫分離 主從切換 Mycat及MySQL實例部署情況:Mycat:IP:10.20.8.57,Port:3310/3311MySQL :db1-M1,IP:10.20.8.126,Port:3306db1-M2,IP:10.20.8.126,Port:3307db2-M

mysql主從複製分離分庫分片

第1章 引言 隨著網際網路應用的廣泛普及,海量資料的儲存和訪問成為了系統設計的瓶頸問題。對於一個大型的網際網路應用,每天幾十億的PV無疑對資料庫造成了相當高的負載。對於系統的穩定性和擴充套件性造成了極大的問題。通過資料切分來提高網站效能,橫向擴充套件資料層已經成為架構研發人員首選的方式。 水平切分資料庫:可

Mycat實現MySQL的分庫分離主從切換

mysql> show tables;+--------------+| Tables in db |+--------------+| t1           |+--------------+1 row in set (0.00 sec)mysql> desc t1;+---------+-

MySQL 對於千萬級的大要怎麼優化?(分離水平拆分垂直拆分)

思考 如何設計或優化千萬級別的大表?此外無其他資訊,個人覺得這個話題有點範,就只好簡單說下該如何做,對於一個儲存設計,必須考慮業務特點,收集的資訊如下: 1.資料的容量:1-3年內會大概多少條資料,每條資料大概多少位元組; 2.資料項:是否有大欄位,那些欄位的值是否經常

6MySQL 主從同步 MySQL 分離 MySQL 性能調優

chang 時間 form 變量名 col 最大 rom 驗證 uptime day06一、mysql主從同步 二、數據讀寫分離三、MySQL優化++++++++++++++++++++++++++++++++一、mysql主從同步 1.1 主從同步介紹?從庫服務器自動同

mysql基礎+主從復制分離高可用原理

mysql基礎1)創建數據庫 create database wpj1105;2)創建數據庫 create database wpj1105;3)判斷是否存在庫 : drop database if exists wpj1105;4)使用該數據庫

主從同步分離mysql性能調優(軟優化)

tab ren 主庫 its 使用命令 mysql lee 運行 lte 配置mysql主從同步1 主從同步的作用:讓slave身份的數據庫服務器自動同步 master身份的數據庫服務器上的數據。 一、主數據庫服務器的配置192.168.4.121 用戶授權mysql&g

Amoeba搭建高可用Mysql集群(實現Mysql主從復制分離負載均衡)

proc 分布式數據庫 啟動 parent 分布 技術分享 事務 admin str Amoeba是什麽? Amoeba(變形蟲)項目,該開源框架於2008年 開始發布一款 Amoeba for Mysql軟件。這個軟件致力於MySQL的分布式數據庫前端代理層,它主要在應用

部署MongoDB復制集(主從復制分離高可用)

rest 讀取 讀寫分離 分享圖片 pro vim 文件 () 同步數據 MongoDB 復制集 復制集(Replica Sets)是額外的數據副本,是跨多個服務器同步數據的過程,復制集提供了冗余備份並提高了數據的可用性,通過復制集可以對硬件故障和中斷的服務進行恢復。

JAVAEE——宜立方商城13:Mycat數據庫分片主從復制分離100%Linux中成功安裝Mysql的方法

server structure chang exe under have 重新啟動 switch option 1 海量數據的存儲問題 如今隨著互聯網的發展,數據的量級也是撐指數的增長,從GB到TB到PB。對數據的各種操作也是愈加的困難,傳統的關系性數據庫已經無法滿足快速

mysql proxy 資料庫分離字符集亂碼

  mysql proxy 資料庫讀寫分離字符集亂碼    解決辦法 在對應配置後端資料庫伺服器的配置.cnf中加入如下程式碼 init-connect='SET NAME UTF8' skip-character-set-client-handshake cha