1. 程式人生 > >MyCat分片集群

MyCat分片集群

ons 相同 創建數據庫 清晰 readonly .com str sha 訂單

數據庫集群會產生的問題:

自增ID問題

數據關聯查詢問題(水平拆分)

數據同步問題

數據庫集群 自動增長id產生重復的話,解決: UUID形式 (沒有排序 不是自增) 設置數據庫步長

其他方案: redis 或者雪花算法

數據庫分庫分表的策略:

數據庫分表分庫策略

數據庫分表分庫原則遵循 垂直拆分與水平拆分
垂直拆分就是根據不同的業務,分為不同的數據庫,比如會員數據庫、訂單數據庫、支付數據庫等,垂直拆分在大型電商系統中用的非常常見。
優點:
拆分後業務清晰,拆分規則明確,系統之間整合或擴展容易。
缺點:
部分業務表無法join,只能通過接口方式解決,提高了系統復雜度存在分布式事務問題。

數據庫分表分庫原則遵循 垂直拆分與水平拆分

垂直拆分是把不同的表拆到不同的數據庫中,而水平拆分是把同一個表拆到不同的數據庫中。
相對於垂直拆分,水平拆分不是將表的數據做分類,而是按照某個字段的某種規則來分散到多個庫之中,每個表中包含一部分數據。簡單來說,我們可以將數據的水平切分理解為是按照數據行的切分,就是將表中 的某些行切分到一個數據庫,而另外的某些行又切分到其他的數據庫中,主要有分表,分庫兩種模式
該方式提高了系統的穩定性跟負載能力,但是跨庫join性能較差。

在數據庫分庫分表原則中,遵循兩個設計理論 垂直拆分 水平拆分

垂直拆分就是根據不同的業務,拆分成不同的數據庫,比如會員數據庫,訂單數據庫,支付數據庫,消息數據庫等。

垂直拆分缺點:

跨數據查詢 必須采用接口形式通訊、分布式事務問題

垂直拆分把不容的表拆到不同的數據庫中,而水平拆分是把同一個表拆分到不同的數據庫中,或者把一張表的數據拆分n多個小表

如果一張表6條數據:

變成三個庫 每個庫中存放兩條數據,一共三張表,三張表的結構是完全相同的。三個庫進行均攤存放

在存的時候根據ID取模存放

在查詢時候依然根據取模算法進行獲取

拆分的好處: 如果數據量大的情況下,就算用索引也就那樣。但是進行水平拆分就好了很多

技術分享圖片

水平分片策略:

MyCat支持10種分片策略
1、求模算法
2、分片枚舉
3、範圍約定
4、日期指定
5、固定分片hash算法
6、通配取模
7、ASCII碼求模通配
8、編程指定
9、字符串拆分hash解析
詳細:http://www.mycat.io/document/mycat-definitive-guide.pdf

關於分片枚舉:

分片枚舉這種規則適用於特定的場景,比如有些業務需要按照省份或區縣來做保存,而全國的省份區縣固定的,這類業務使用這一規則。配置如下
1.案例步驟:
創建數據庫userdb_1 、 userdb_2、userdb_3
2.修改partition-hash-int.txt 規則
wuhan=0
shanghai=1
suzhou=2

詳細配置請參考文檔

根據地區進行分庫 湖北數據庫、江蘇數據庫 山東數據庫 (三張表)

分片枚舉算法就是根據不同的枚舉(常量),進行分類存儲。

可以使用分片枚舉實現根據地區分類存儲到不同數據庫進行存放

環境搭建:

定義枚舉(地區) 每個地區指定數據庫存放位置

schema.xml:

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    <!-- mycat_testdb 是mycat的邏輯庫名稱,鏈接需要用的 -->
    <schema name="mycat_testdb" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
     <!-- 邏輯庫裏面的表 order_info   並且有三臺節點做集群  規則文件是role2  -->
      <table name="order_info"  dataNode="dn1,dn2,dn3" rule="role2" /> 
    
    </schema>
        <!-- database 是MySQL數據庫的庫名  三臺節點  分別對應真實的數據庫 user_dbn  -->
    <dataNode name="dn1" dataHost="localhost1" database="user_db1" />
    <dataNode name="dn2" dataHost="localhost1" database="user_db2" />
    <dataNode name="dn3" dataHost="localhost1" database="user_db3" />
    <!--
    dataNode節點中各屬性說明:
    name:指定邏輯數據節點名稱;
    dataHost:指定邏輯數據節點物理主機節點名稱;
    database:指定物理主機節點上。如果一個節點上有多個庫,可使用表達式db$0-99,     表示指定0-99這100個數據庫;

    dataHost 節點中各屬性說明:
        name:物理主機節點名稱;
        maxCon:指定物理主機服務最大支持1000個連接;
        minCon:指定物理主機服務最小保持10個連接;
        writeType:指定寫入類型;
            0,只在writeHost節點寫入;
            1,在所有節點都寫入。慎重開啟,多節點寫入順序為默認寫入根據配置順序,第一個掛掉切換另一個;
        dbType:指定數據庫類型;
        dbDriver:指定數據庫驅動;
        balance:指定物理主機服務的負載模式。
            0,不開啟讀寫分離機制;
            1,全部的readHost與stand by writeHost參與select語句的負載均衡,簡單的說,當雙主雙從模式(M1->S1,M2->S2,並且M1與 M2互為主備),正常情況下,M2,S1,S2都參與select語句的負載均衡;
            2,所有的readHost與writeHost都參與select語句的負載均衡,也就是說,當系統的寫操作壓力不大的情況下,所有主機都可以承擔負載均衡;
-->
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!-- 可以配置多個主從 -->
        <writeHost host="hostM1" url="192.168.91.8:3306" user="root" password="root">
            <!-- 可以配置多個從庫 -->
            <readHost host="hostS2" url="192.168.91.9:3306" user="root" password="root" />
        </writeHost>
    </dataHost>
</mycat:schema>

rule.xml:

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License");
    - you may not use this file except in compliance with the License. - You
    may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0
    - - Unless required by applicable law or agreed to in writing, software -
    distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT
    WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the
    License for the specific language governing permissions and - limitations
    under the License. -->
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
 
    <tableRule name="role2">
             <rule>
                  < !-- 表示根據name字段進行分片存儲的 -->
                  <columns>name</columns>
                <algorithm>hash-int</algorithm>
                </rule>
    </tableRule>
    <!-- 與上面的hash-int對應 --> 
    <function name="hash-int" class="io.mycat.route.function.PartitionByFileMap">
        <!-- 指定枚舉文件 -->
        <property name="mapFile">partition-hash-int.txt</property>
         <!-- 枚舉文件非數值類型要寫1 -->
        <property name="type">1</property>
         <!-- 默認存放的位置 在第一個的位置存放 -->
        <property name="defaultNode">1</property>
    </function>
    
</mycat:rule>

註意在實際應用時候 把rule.xml的註釋去除掉

server.xml:

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 
    - you may not use this file except in compliance with the License. - You 
    may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 
    - - Unless required by applicable law or agreed to in writing, software - 
    distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 
    WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 
    License for the specific language governing permissions and - limitations 
    under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
   

   <!-- 讀寫都可用的用戶 -->
    <user name="root" defaultAccount="true">
        <property name="password">123456</property>
        <property name="schemas">mycat_testdb</property>

        <!-- 表級 DML 權限設置 -->
        <!--        
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>       
         -->
    </user>

    <!-- 只讀用戶 -->
    <user name="user">
        <property name="password">user</property>
        <property name="schemas">mycat_testdb</property>
        <property name="readOnly">true</property>
    </user>

</mycat:server>

查詢端口號被哪個進程占用:

netstat -tunlp | grep 8080

kill -9 666

分片規則:

wuhan=0
shanghai=1
suzhou=2

啟動mycat

然後navicat工具連接之:

往mycat表的虛擬表裏面寫數據:會映射到實際物理數據庫的表裏面

技術分享圖片

映射的物理數據庫:

技術分享圖片

如果分片枚舉沒有的 根據配置會存儲到 db2中!

技術分享圖片

結構圖:

技術分享圖片

求模算法:根據ID去進行十進制求模運算,運算結果為分區索引

註意:數據庫節點分片數量無法更改 (和ES集群非常類似)

schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    <!-- TESTDB1 是mycat的邏輯庫名稱,鏈接需要用的 -->
    <schema name="mycat_testdb" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
       <!-- 分片的算法是role1  -->
    <table name="user_info" dataNode="dn1,dn2,dn3" rule="role1"/>
    
    </schema>
        <!-- database 是MySQL數據庫的庫名 -->
    <dataNode name="dn1" dataHost="localhost1" database="user_db1" />
    <dataNode name="dn2" dataHost="localhost1" database="user_db2" />
    <dataNode name="dn3" dataHost="localhost1" database="user_db3" />
    <!--
    dataNode節點中各屬性說明:
    name:指定邏輯數據節點名稱;
    dataHost:指定邏輯數據節點物理主機節點名稱;
    database:指定物理主機節點上。如果一個節點上有多個庫,可使用表達式db$0-99,     表示指定0-99這100個數據庫;

    dataHost 節點中各屬性說明:
        name:物理主機節點名稱;
        maxCon:指定物理主機服務最大支持1000個連接;
        minCon:指定物理主機服務最小保持10個連接;
        writeType:指定寫入類型;
            0,只在writeHost節點寫入;
            1,在所有節點都寫入。慎重開啟,多節點寫入順序為默認寫入根據配置順序,第一個掛掉切換另一個;
        dbType:指定數據庫類型;
        dbDriver:指定數據庫驅動;
        balance:指定物理主機服務的負載模式。
            0,不開啟讀寫分離機制;
            1,全部的readHost與stand by writeHost參與select語句的負載均衡,簡單的說,當雙主雙從模式(M1->S1,M2->S2,並且M1與 M2互為主備),正常情況下,M2,S1,S2都參與select語句的負載均衡;
            2,所有的readHost與writeHost都參與select語句的負載均衡,也就是說,當系統的寫操作壓力不大的情況下,所有主機都可以承擔負載均衡;
-->
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="3" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <!-- 可以配置多個主從 -->
        <writeHost host="hostM1" url="192.168.91.8:3306" user="root" password="root">
            <!-- 可以配置多個從庫 -->
            <readHost host="hostS2" url="192.168.91.9:3306" user="root" password="root" />
        </writeHost>
    </dataHost>
</mycat:schema>

rule.xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License");
    - you may not use this file except in compliance with the License. - You
    may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0
    - - Unless required by applicable law or agreed to in writing, software -
    distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT
    WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the
    License for the specific language governing permissions and - limitations
    under the License. -->
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
 
   <tableRule name="role1">
        <rule>
             <!-- 指定分片規則要玩兒的列名 -->
            <columns>id</columns>
            <!-- 指定下面的分片算法 -->
            <algorithm>mod-long</algorithm>
        </rule>
    </tableRule>
 
    <function name="mod-long" class="io.mycat.route.function.PartitionByMod">
        <!--指定分片數量,不可以被更改 count數據庫的分配數量一共三臺 一旦定了就不能修改了! -->
        <property name="count">3</property>
</function>

    
</mycat:rule>

server.xml

<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 
    - you may not use this file except in compliance with the License. - You 
    may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 
    - - Unless required by applicable law or agreed to in writing, software - 
    distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 
    WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 
    License for the specific language governing permissions and - limitations 
    under the License. -->
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
   

   <!-- 讀寫都可用的用戶 -->
    <user name="root" defaultAccount="true">
        <property name="password">123456</property>
        <property name="schemas">mycat_testdb</property>

        <!-- 表級 DML 權限設置 -->
        <!--        
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>       
         -->
    </user>

    <!-- 只讀用戶 -->
    <user name="user">
        <property name="password">user</property>
        <property name="schemas">mycat_testdb</property>
        <property name="readOnly">true</property>
    </user>

</mycat:server>

mycat連接到讀的虛擬數據庫

然後在真實物理數據庫上面創建 user_db1 user_db2 user_db3

在Myca的寫權限的虛擬數據庫創建表:

技術分享圖片

此時的其他的物理數據庫裏面也會刷新數同樣的表

技術分享圖片

然後在write裏面寫入數據

技術分享圖片

會根據ID取模,分片到不同的物理數據庫裏面

MyCat分片集群