分散式資料庫架構--分庫、分表、排序、分頁、分組、實現
最近研究分散式資料庫架構,發現排序、分組及分頁讓著實人有點頭疼。現把問題及解決思路整理如下。
一、 多分片(水平切分)返回結果合併(排序)
1、Select + None Aggregate Function的有序記錄合併排序
解決思路:對各分片返回的有序記錄,進行排序去重合並。此處主要是編寫排序去重合
並演算法。
2、Select + None Aggregate Function的無序記錄合併
解決思路:對各分片返回的無序記錄,進行去重合並。
優點:實現比較簡單。
缺點:資料量越大,欄位越多,去重處理就會越耗時。
3、Select + Aggregate Function的記錄合併(排序)
Oracle常用聚合函式:Count、Max、Min、Avg、Sum。
AF:Max、Min
思路:通過演算法對各分片返回結果再求max、min值。
AF:Avg、Sum、Count
思路:分片間無重複記錄或欄位時,通過演算法對各分片返回結果再求avg、sum、count值。分片間有重複記錄或欄位時,先對各分片記錄去重合並,再通過演算法求avg、sum、count值。
比如:
select count(*) from user
select count(deptno) from user;
select count(distinct deptno) from user;
二、多分片(水平切分)返回結果分頁
解決思路:合併各分片返回結果,邏輯分頁。
優點: 實現簡單。
缺點: 資料量越大,快取壓力就越大。
分片資料量越大,查詢也會越慢。
三、多分片(水平切分)查詢有分組語法的合併
1、Group By Having + None Aggregate Function時
Select + None Aggregate Function
比如:select job user group by job;
思路:直接去重(排序)合併。
Select + Aggregate Function
比如:select max(sal),job user group by job;
思路:同Select + Aggregate Function的記錄合併(排序)。
2、Group By Having + Aggregate Function時
解決思路:去掉having AF條件查詢各分片,然後把資料放到一張表裡。再用group by having 聚合函式查詢。
四、分散式資料庫架構--排序分組分頁參考解決方案
解決方案1:Hadoop + Hive。
思路:使用Hadoop HDFS來儲存資料,通過Hdoop MapReduce完成資料計算,通過Hive HQL語言使用部分與RDBBS一樣的表格查詢特性和分散式儲存計算特性。
優點: 可以解決問題
具有併發處理能力
可以離線處理
缺點: 實時性不能保證
網路延遲會增加
異常捕獲難度增加
Web應用起來比較複雜
解決方案2:總庫集中查詢。
優點: 可以解決問題
實現簡單
缺點: 總庫資料不能太大
併發壓力大
五、小結
對 於分散式資料庫架構來說,排序、分頁、分組一直就是一個比較複雜的問題。避免此問題需要好好地設計分庫、分表策略。同時根據特定的場景來解決問題。也可以 充分利用海量資料儲存(Hadoop-HDFS|Hive|HBse)、搜尋引擎(Lucene|Solr)及分散式計算(MapReduce)等技術來 解決問題。
別外,也可以用NoSQL技術替代關係性資料庫來解決問題,比如MogonDB\redis。