2. 程式人生 > >mycat分片規則

mycat分片規則

阿新 • • 發佈：2017-11-01
ext 擴容 難題 begin att func 跨庫 -a 方法

配置：schema文件rule字段，rule文件name字段 （1）分片枚舉：sharding-by-intfile （2）主鍵範圍：auto-sharding-long （3）一致性hash：sharding-by-murmur （4）字符串hash解析：sharding-by-stringhash （5）按日期（天）分片：sharding-by-date （6）按單月小時拆分：sharding-by-hour （6）自然月分片：sharding-by-month --------常見的10種分片方法-------- 1、枚舉法 <tableRule name="sharding-by-intfile">
<rule> <columns>user_id</columns> <algorithm>hash-int</algorithm> </rule> </tableRule> <function name="hash-int" class="io.mycat.route.function.PartitionByFileMap"> <property name="mapFile">partition-hash-int.txt</property>
<property name="type">0</property> <property name="defaultNode">0</property> </function> 理解： 切分規則根據文件(partition-hash-int.txt)。此種分片規則理解為枚舉分區，會比較適合於取值固定的場合，比如說性別（0,1），省份（固定值）。 優點： 用逗號分隔可以把多個值放在一個分區裏面。 缺點： 其他非枚舉情況不適合。 枚舉分區：sharding-by-intfile 2、範圍約定 <tableRule name="auto-sharding-long">
<rule> <columns>user_id</columns> <algorithm>rang-long</algorithm> </rule> </tableRule> <function name="rang-long" class="io.mycat.route.function.AutoPartitionByLong"> <property name="mapFile">autopartition-long.txt</property> </function> 理解： 切分規則根據文件(autopartition-long.txt)。一種範圍切分的方式，制定基準列的取值範圍，然後把這一範圍的所有數據都放到一個DN上面。 優點： 適用於整體數量可知或總數量為固定值的情況。 缺點： dn劃分節點是事先建好的，需要擴展時比較麻煩。 潛在的問題，如果在短時間發生海量的順序插入操作，而每一個DN（分庫）設定的數量比較高(比如說一個DN設定的放1000W條數據),那麽在這個時候,會出現某一個DN（分庫）IO壓力非常高，而其他幾個DN（分庫）完全沒有IO操作，就會出現類似於DB中常見的熱塊/熱盤的現象。 3、求模法 <tableRule name="mod-long"> <rule> <columns>user_id</columns> <algorithm>mod-long</algorithm> </rule> </tableRule> <function name="mod-long" class="io.mycat.route.function.PartitionByMod"> <!-- how many data nodes --> <property name="count">3</property> </function> 理解： 切分規則根據配置中輸入的數值n。此種分片規則將數據分成n份（通常dn節點也為n），從而將數據均勻的分布於各節點上。 優點： 這種策略可以很好的分散數據庫寫的壓力。比較適合於單點查詢的情景。 缺點： 一旦出現了範圍查詢，就需要MyCAT去合並結果，當數據量偏高的時候，這種跨庫查詢+合並結果消耗的時間有可能會增加很多，尤其是還出現了order by的時候。 4、固定分片hash算法 <tableRule name="rule1"> <rule> <columns>user_id</columns> <algorithm>func1</algorithm> </rule> </tableRule> <function name="func1" class="io.mycat.route.function.PartitionByLong"> <property name="partitionCount">2,1</property> <property name="partitionLength">256,512</property> </function> 理解： 切分規則根據配置中輸入的數值對。上面columns 標識將要分片的表字段，algorithm 分片函數，partitionCount 分片個數列表，partitionLength 分片範圍列表。（均分時比求模法更靈活） 分區長度：默認為最大2^n=1024 ,即最大支持1024分區 約束 :count,length兩個數組的長度必須是一致的。 優點： 這種策略比較靈活，可以均勻分配也可以非均勻分配，各節點的分配比例和容量大小由count,length兩個參數決定。 缺點： 跟求模法類似。 5、日期列分區法 <tableRule name="sharding-by-date"> <rule> <columns>create_time</columns> <algorithm>sharding-by-date</algorithm> </rule> </tableRule> <function name="sharding-by-date" class="io.mycat.route.function..PartitionByDate"> <property name="dateFormat">yyyy-MM-dd</property> <property name="sBeginDate">2014-01-01</property> <property name="sPartionDay">10</property> </function> 理解： 切分規則根據配置中輸入的各項值。配置中配置了格式，開始日期，分區天數，即默認從開始日期算起，分隔10天一個分區。 6、通配取模 <tableRule name="sharding-by-pattern"> <rule> <columns>user_id</columns> <algorithm>sharding-by-pattern</algorithm> </rule> </tableRule> <function name="sharding-by-pattern" class="io.mycat.route.function.PartitionByPattern"> <property name="patternValue">256</property> <property name="defaultNode">2</property> <property name="mapFile">partition-pattern.txt</property> </function> 理解： 切分規則根據配置中輸入的數值以及文件（partition-pattern.txt）。patternValue 即求模基數，defaoultNode 默認節點，如果不配置了默認，則默認是0即第一個結點。配置文件中，1-32 即代表id%256後分布的範圍，如果在1-32則在分區1，其他類推，如果id非數字數據，則會分配在defaoultNode 默認節點配置文件中，1-32 即代表id%256後分布的範圍，如果在1-32則在分區1，其他類推，如果id非數字數據，則會分配在defaoultNode 默認節點。 優點： 這種策略可以很好的分散數據庫寫的壓力。比較適合於單點查詢的情景。 缺點： 一旦出現了範圍查詢，就需要MyCAT去合並結果，當數據量偏高的時候，這種跨庫查詢+合並結果消耗的時間有可能會增加很多，尤其是還出現了order by的時候。 7、ASCII求模通配 <tableRule name="sharding-by-prefixpattern"> <rule> <columns>user_id</columns> <algorithm>sharding-by-prefixpattern</algorithm> </rule> </tableRule> <function name="sharding-by-pattern" class="io.mycat.route.function.PartitionByPrefixPattern"> <property name="patternValue">256</property> <property name="prefixLength">5</property> <property name="mapFile">partition-pattern.txt</property> </function> 理解： 切分規則根據配置中輸入的數值及文件（partition-pattern.txt）。patternValue 即求模基數，prefixLength ASCII 截取的位數。此種方式類似方式6通配取模只不過采取的是將列種獲取前prefixLength位列所有ASCII碼的和進行求模sum%patternValue ,獲取的值，在通配範圍內的也就是分片數。 8、編程指定 <tableRule name="sharding-by-substring"> <rule> <columns>user_id</columns> <algorithm>sharding-by-substring</algorithm> </rule> </tableRule> <function name="sharding-by-substring" class="io.mycat.route.function.PartitionDirectBySubString"> <property name="startIndex">0</property> <!-- zero-based --> <property name="size">2</property> <property name="partitionCount">8</property> <property name="defaultPartition">0</property> </function> 理解： 此方法為直接根據字符子串（必須是數字）計算分區號（由應用傳遞參數，顯式指定分區號）。 例如id=05-100000002在此配置中代表根據id中從startIndex=0，開始，截取siz=2位數字即05，05就是獲取的分區，如果沒傳默認分配到defaultPartition。 9、字符串拆分hash解析 <tableRule name="sharding-by-stringhash"> <rule> <columns>user_id</columns> <algorithm>sharding-by-stringhash</algorithm> </rule> </tableRule> <function name="sharding-by-substring" class="io.mycat.route.function.PartitionByString"> <property name=length>512</property> <!-- zero-based --> <property name="count">2</property> <property name="hashSlice">0:2</property> </function> 理解： 函數中length代表字符串hash求模基數，count分區數，hashSlice hash預算位 即根據子字符串 hash運算。 10、一致性hash <tableRule name="sharding-by-murmur"> <rule> <columns>user_id</columns> <algorithm>murmur</algorithm> </rule> </tableRule> <function name="murmur" class="io.mycat.route.function.PartitionByMurmurHash"> <property name="seed">0</property><!-- 默認是0--> <property name="count">2</property><!-- 要分片的數據庫節點數量，必須指定，否則沒法分片—> <property name="virtualBucketTimes">160</property><!-- 一個實際的數據庫節點被映射為這麽多虛擬節點，默認是160倍，也就是虛擬節點數是物理節點數的160倍--> <!-- <property name="weightMapFile">weightMapFile</property> 節點的權重，沒有指定權重的節點默認是1。以properties文件的格式填寫，以從0開始到count-1的整數值也就是節點索引為key，以節點權重值為值。所有權重值必須是正整數，否則以1代替 --> <!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property> 用於測試時觀察各物理節點與虛擬節點的分布情況，如果指定了這個屬性，會把虛擬節點的murmur hash值與物理節點的映射按行輸出到這個文件，沒有默認值，如果不指定，就不會輸出任何東西 --> </function> 優點： 一致性hash預算有效解決了分布式數據的擴容問題，前1-9中id規則都多少存在數據擴容難題，而10規則解決了數據擴容難點 上述整理的分片規則，部分驗證、詳細的理解以及優缺點信息還未補全，希望能與大家共同學習探討填補空缺。

mycat分片規則

相關推薦

mycat分片規則

ext 擴容 難題 begin att func 跨庫 -a 方法 配置：schema文件rule字段，rule文件name字段 （1）分片枚舉：sharding-by-intfile （2）主鍵範圍：auto-sharding-long （3）一致性hash：shardi

mysql 第二十篇文章~mycat 分片規則的初步講解

場景 fault XML 配置文件 理解 fun int 完全 文本 一 簡介:今天咱們來聊聊分片規則的初步理解 二 前沿:mycat的分片規則是十分豐富的,此外還可以根據java進行擴展 三 文件:rule.xml 四 具體分片規則: <tableRule

mycat分片規則之分片枚舉（sharding-by-intinfile）

別人 ade 員工信息 cat oracle server register 正常 cor 剛開始看教程資料的時候，看教程文檔感覺模糊，完全沒明白分片枚舉是個什麽樣的概念。於是網上搜素別人做的 案例來看，終於讓我搜索到一份完整的測試案例，見如下地址： https://w

Mycat分片規則 一致性雜湊

這個分片規則是我比較喜歡的，他通過演算法將資料平均分在幾個分割槽中，需要使用一致性hash規則 只需要找到mycat檔案下的conf下的rule.xml檔案進行配置修改 <function name="murmur" class="org.opencloudb.route.

MyCat分片規則(全域性表，ER分片表，多對多關聯，主鍵分片VS非主鍵分片)，MyCat常用的分片規則（15中分片規則），自定義MyCat分片規則

1 MyCat分片規則 資料切分中重要的幾條原則，其中有幾條資料冗餘，表分組（Table Group）。 1.1全域性表 如果你的業務中有些資料類似於資料字典，比如配置檔案的配置，常用業務的配置或資料量不是很大，很少變動的表，這些表往往不是特別大，而且大部分的業務場景都

讀書筆記-Mycat權威指南-10-分片規則

line -m 字典 取模運算 連接 兩個 範圍查詢 技術分享 取數 分片規則概述 在數據切分處理中，特別是水平切分中，中間件最終要的兩個處理過程就是數據的切分、數據的聚合。 選擇 合適的切分規則，至關重要，因為它決定了後續數據聚合的難易程度，甚至可以避免跨庫的數據聚

網際網路架構之Mycat的分片規則

常用的分片規則一共有10個 一、列舉法 <tableRule name="sharding-by-intfile"> <rule> <columns>user_id</columns> <algorithm>hash-int

Mycat快速入門(四): 分片規則

一: 簡介 在資料切分處理中，特別是水平切分中，中介軟體最終要的兩個處理過程就是資料的切分、資料的聚合。選擇 合適的切分規則，至關重要，因為它決定了後續資料聚合的難易程度，甚至可以避免跨庫的資料聚合處理。 可以通過全域性表，ER分片表，資料冗餘來儘量來避免跨庫多表連線join。

MyCat分片JOIN，分片規則

mycat 支援跨分片join，主要有四種方法： 1、全域性表 字典表（變動不頻繁，資料量總體變化不大，資料規模不大很少超過10W條記錄）可以做為全域性表 特性： 1）全域性表的插入，更新操作會實時在所有節點上執行，保持各個分片的資料一致性。沒有太激烈的update操作。 2）全域性表查詢只從一個節

mycat分散式mysql中介軟體（分片規則）

mycat 分片規則      傳統的分片策略都是基於單表，或者分片基於主鍵進行分配，或者某些場景下需要多個表依賴於一個分片，或者分片的欄位並不是主鍵。      a.  對於傳統的資料庫分片方式都是基於單個表格，對於表關聯這種操作，則很難處理。為了能夠執行t_user與t

Mycat學習實戰-Mycat分片

mysql mycat 分片 詳情：http://blog.csdn.net/ygqygq2/article/details/78390985本文出自 “ygqygq2” 博客，請務必保留此出處http://ygqygq2.blog.51cto.com/1009869/1981540Mycat學習

mycat 分片

ins ood 記錄 cor txt .com pri src parent 1 配置下面兩種ER分片，並結合日誌分析子表插入過程中的不同 (1).父表按照主鍵ID分片，子表的分片字段與主表ID關聯，配置為ＥＲ分片 (2).父表的分片字段為其他字段，子表的

MyCat分片-海量資料儲存解決方案

說到MyCat分片，首先我們要了解的是什麼是分片 簡單來說，就是指通過某種特定的條件，將我們存放在同一個資料庫中的資料分散存放到多個數據庫（主機）上面，以達到分散單臺裝置負載的效果。 資料的切分（Sharding）根據其切分規則的型別，可以分為兩種切分模式。 （1）一種是按照不同的表

mycat1.6.5分片規則（熱資料）

mycat one群：106088787。 分片規則：字串拆分hash 一、conf/schema.xml檔案 <mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="TESTDB" checkSQLs

MyCat分片演算法學習

1 分片列舉 1.1 官方文件 通過在配置檔案中配置可能的列舉id，自己配置分片。 這種規則適用於特定的場景，比如有些業務需要按照省份或區縣來做儲存，而全國的省份區縣固定的，這類業務使用這一規則。配置如下 <table

mycat 分片中快速資料遷移思考

操作實踐背景：     travelrecord表定義為10個分片，嘗試將10個分片中的2個分片轉移到第二臺MySQL上，並完成記錄，   要求最快的資料遷移做法，中斷業務時間最短思路一利用mysqldump：在這裡我們只針對mysql innodb engine,而且配置b

MyCat分片策略

分片策略 水平分片、垂直分片 水平分片 一個表，根據某種規則，將資料存放到不同的資料庫中 一個表格的資料，分割到多個節點上，按照行分隔 垂直分片 一個數據庫，根據業務將多個數據表，分配到不同的資料庫中 一個數據庫中多個表格A，B，C A儲存到節點

MyCat分片集群

ons 相同 創建數據庫 清晰 readonly .com str sha 訂單 數據庫集群會產生的問題： 自增ID問題 數據關聯查詢問題（水平拆分） 數據同步問題 數據庫集群 自動增長id產生重復的話，解決： UUID形式 （沒有排序 不是自增）

mycat分片及主從（二）

一、mycat分片規則       經過上一篇幅講解，應該很清楚分片規則配置檔案rule.xml位於$MYCAT_HOME/conf目錄，它定義了所有拆分表的規則。在使用過程中可以靈活使用不同的分片演算法，或者對同一個分片演算法使用不同的引數，它讓分片過程可配置化，只需

mycat 離散分片 -&gt; 程序指定分區的分片

spa ssi ica arc direct ted def cut roo 1。程序指定分區的分片 此規則是在運行階段有應用自主決定路由到那個分片。 此方法為直接依據字符子串（必須是數字）計算分區號（由應用傳遞參數。顯式指定分區號）。 2