1. 程式人生 > >解決數據架構難點數據分布的六種策略

解決數據架構難點數據分布的六種策略

from size med 綜合 實例 復制 小系統 一致性 數據傳遞

1.1. 解決數據架構難點數據分布的六種策略

from:PYY

數據分布的六種策略

1) 獨立Schema(Separate-schema)

2) 集中(Centralized)

3) 分區(Partitioned)

4) 復制(Replicated)

5) 子集(Subset)

6) 重組(Recorganized)

1.1.1. 獨立Schema(Separate-schema)

當一個大系統由相關的多個小系統組成,且不同小系統有不相同的數據庫Schema定義,這種情況稱為“獨立

Schema”。

技術分享

1.1.2. 集中(Centralized)

指一個大系統必須支持來自不同地點的訪問,或者該系統由相關的多個小系統組成,而持久集中化數據進行集中化的、統一格式的存儲。

技術分享

1.1.3. 分區(Partitioned)

分區方式包括水平分區和垂直分區兩種類型,跨“地域”提供“相同的服務”常常采用水平分區,選點“兩個相同、兩個不同”——相同的應用程序、不同的應用程序部署實例,相同的數據模板,不同的數據值。

技術分享

在實踐中,水平分區的應用非常廣泛,而垂直分區應用要小,特點:不同數據節點的Schema會有“部分字段(Field)”的差異,但可以從同一套總的數據Schema中抽取得到。

技術分享

1.1.4. 復制(Replicated)兩上兩個

在整個分布式系統中,數據保存多個副本,並且以某種機制(實時或快照)保持多個數據副本之間的數據一致性。

技術分享

1.1.5. 子集(Subset)

“子集”是“復制”的特殊方式,就是某節點因功能或非功能考慮而保存全體數據的一個相對固定的子集。

技術分享

總體而言,子集方式和復制方式有關非常類似的優點:

通過數據“本地化”,提升了數據訪問性能。

數據的專門副本,利於優化,便於提高可管理性、安全控制。

1.1.6. 重組(Recorganized)

  業務決定功能,功能決定模型。當遇到數據模型不同時,一般都能夠從功能差異的角度找到答案。

  重組這種數據分布策略,就是不同數據節點因要運行的功能不同,而以不同的Schema保存數據——但本質上這些數據是同源的。於是,重組策略須要進行數據傳遞,但不是數據的“原樣兒”復制,而是以“重新組織”的格式進行傳遞或保存。

技術分享

應用:

  統計性性重組,例如,如果總公司只須要掌握各分公司的財務、生產等概況信息,那麽就不須要把下面的數據原樣復制到總公司節點,而是通過分公司應用對信息進行統計後上報。這叫“統計性重組”——數據的重新組織較多地借助了抽取、統計等操作,並形成新的數據格式。

  “結構性重組”的例子,最典型的就是BI系統。生產系統的數據被進行整體重組,增加各種利於查詢的維度信息,並以新的數據Schema保存供BI應用使用。

1.1.7. 應用的3條原則

1) 把握系統特點,確定分布策略(合適原則)

2) 不同分布策略,可以綜合運用(綜合原則)

3) 從“對嗎、“好嗎”兩方面進行評估優化(優化原則)

1.1.8. 示例

1.1.8.1醫療信息化中心

技術分享

1.1.8.2電信系統

  客戶申請服務開通業務流程

  技術分享

   數據分布策略

技術分享

1.1.8.3鈴聲下載

技術分享

  

解決數據架構難點數據分布的六種策略