前言

   目前所在的的專案組，由於專案正在處於一個業務爆發期，每天資料的增長量已經給我們資料庫乃至系統造成了很多不確定的因數，前期依靠優化業務和SQL等方式暫時還能夠支撐住。但是最近發現某些表資料達到500W+以後查詢統計效能嚴重下降，高峰時段出現了很多SQL阻塞的情況例如:

這種阻塞帶來的災難是滾雪球的，由於越堆越多基本上把資料庫已經拖死,所以我們就面臨資料庫切分的問題。

技術選型

   既然要分庫分表那資料庫叢集是少不了的，那我們的專案怎樣和這些叢集打交道呢？我調研了大概分為以下幾種來完成這個功能（僅僅針對java專案）

中介軟體	例如淘寶開源的cobar，以及後來開源社群根據cobar做二次開發的Mycat（個人建議如果使用中介軟體的話可以考慮Mycat）
Jar形式的開源工具	例如淘寶的TDDL，以及噹噹開源出來的，Sharding-JDBC等
動態資料來源	根據自己的業務來指定資料來源來完成不同庫和表的操作

   給予上面三個我最後選擇了估計看起來最LOW的第三種方式：我說一下我自己選擇的依據：

   上述開元產品中淘寶系的cobar沒有維護，TDDL開源出來的和內部版本也不一樣有不少BUG我們這邊人力緊缺，估計沒時間來爬坑。Sharding-JDBC呢，剛推出來沒有專案實戰經驗。Mycat其實是我發現目前比較好的一個解決方案，但是mycat是給予代理模式的需要人維護,如果維護不得力，效能也不會太高，基於我們組人員的能力和我還是最終放棄了。

   之所以選擇動態資料來源：主要是因為技術相對簡單，對於業務程式碼修改也比較少，可控性較高，減少了加入中介軟體或者第三方工具所帶來的風險。（申明一下我們專案完全沒有使用JPA事物的，對於事物是採用的補償機制這裡就不贅述）

  主鍵生成策略

  既然要分庫分表那麼全域性唯一主鍵也是我們需要考慮的問題，我所知道的和有使用經驗的有如下幾種技術：

問題	可行性
基於redis	單點問題，redis重啟問題等	較高，公司有專案使用
給予DB（每次生成多個使用時去取出來）	單點問題，併發量問題	低併發，資料量較小的可以使用
UUID	暫用儲存空間比較大，非可排序的，體現不出增長的趨勢	較高
Xx年以後可能存在重複問題，需要配置生產引數	高，分散式的沒單點故障問題，時間上是遞增的。推薦
基於DB步長的方式	不是所有資料庫都支援	低

  我選擇的是snowflake。

實現細節  

   因為分庫分表所以查詢和新增都需要帶上分配策略主鍵。

新增流程

查詢邏輯

分庫分表後能解決我們的效能問題，但是也帶來了很多其他的問題：我總結了一下分庫分表後的坑

1.分完之後只能直接按分片鍵查詢，為了避免掃所有分片，如果按非分片鍵查詢，在OLTP環境中得走搜尋引擎。資料庫和搜尋引擎同步資料靠binlog2.按不同維度查詢，比如買家維度和賣家維度查訂單。除了走搜尋引擎之外，還可以在不同的系統中各寫一條訂單資料。3.ID得通過ID生成器。4.有熱點資料問題，比如一個超級買家，買了好多種商品，然而還有不怎麼熱的買家，沒什麼訂單。解決方法兩種，熱點資料拿出來放到單獨的系統。或者按資料塊分片，比如十種商品算一個塊，但這種方法具體細節我忘了，只是聽人分享過。5.跨庫事務問題，NPC一般不用，補償是一種方法，TCC是一種方法，TCC的變種，比如SAGA比如XTS，努力送達是一種方法6.資料擴充套件問題，可以看看阿里的愚公。我個人覺得還半夜停機維護比較靠譜。7.分頁的坑，前期可以用中介軟體Limit，中期得走搜尋引擎，後期OLAP8.可用性問題，依賴資料庫高可用方案。據說會出現 sharding 演算法 會因為網路抖動 造成部分分割槽錯誤 導致片出問題9.配置中心問題。儘量使用配置中心，不要用zookeeper10.非代理模式，就是JDBC路由模式 每個client都會對 db開啟pool ，資料庫可能會死在資料庫連線上，一種方法是定製Mysql，設定高低水位，讓超過資料庫處理能力的資料庫連線排隊。第二種方法是在JDBC路由模式之上做Mysql的Proxy

我把我現在的專案抽出來了一個簡單的模型放出來：原始碼我將放在git上面

https://github.com/bingzhilanmo-bowen/spring-multi-datasource

                                                                                                                                                                                          如有問題可聯絡我：

                                                                                                                                                                                           mail: [email protected]

                                                                                                                                                                                           歡迎加入java高階群:329019348

轉載：https://blog.csdn.net/wangfanbb/article/details/50887108