1. 程式人生 > >MySql DAL中介軟體總結

MySql DAL中介軟體總結

1.前言

mysql作為網際網路公司都會用到的資料庫,如果在使用過程中出現效能問題,會採用mysql的橫向擴充套件,使用主從複製來提高讀效能,要是解決寫入問題,需要進行分庫分表。本文不會去介紹mysql的高可用,主要介紹mysql的訪問中介軟體(DAL)的一些實現方案。

2.Atlas

官網:https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md

2.1.atlas簡介

Atlas是由 Qihoo 360公司Web平臺部基礎架構團隊開發維護的一個基於MySQL協議的資料中間層專案。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基礎上,修改了大量bug,添加了很多功能特性。目前該專案在360公司內部得到了廣泛應用,很多MySQL業務已經接入了Atlas平臺,每天承載的讀寫請求數達幾十億條。同時,有超過50家公司在生產環境中部署了Atlas,超過800人已加入了我們的開發者交流群,並且這些數字還在不斷增加。

2.2.atlas架構

Atlas是一個位於應用程式與MySQL之間中介軟體。在後端DB看來,Atlas相當於連線它的客戶端,在前端應用看來,Atlas相當於一個DB。Atlas作為服務端與應用程式通訊,它實現了MySQL的客戶端和服務端協議,同時作為客戶端與MySQL通訊。它對應用程式遮蔽了DB的細節,同時為了降低MySQL負擔,它還維護了連線池。

image002

2.3.主要功能

1.讀寫分離

2.從庫負載均衡

3.IP過濾

4.自動分表

5.DBA可平滑上下線DB

6.自動摘除宕機的DB

Atlas相對於官方MySQL-Proxy的優勢

1.將主流程中所有Lua程式碼用C重寫,Lua僅用於管理介面

2.重寫網路模型、執行緒模型

3.實現了真正意義上的連線池

4.優化了鎖機制,效能提高數十倍

3.Mysql router

官網:http://dev.mysql.com/doc/mysql-router/en/

3.1.mysql router簡介

MySQL Router是mysql官方釋出的資料庫中介軟體,是處於應用client和dbserver之間的輕量級代理程式,它能檢測,分析和轉發查詢到後端資料庫例項,並把結果返回給client。是mysql-proxy的一個替代品。其架構圖和功能如下。

3.2.mysql router架構

image002

1.Router實現讀寫分離,程式不是直接連線資料庫IP,而是固定連線到mysql router。MySQL Router對前端應用是透明的。應用程式把MySQL Router當作是普通的mysql例項,把查詢發給MySQL Router,而MySQL Router會把查詢結果返回給前端的應用程式。

2.從資料庫伺服器故障,業務可以正常執行。由MySQL Router來進行自動下線不可用伺服器。程式配置不需要任何修改。

3.主資料庫故障,由MySQL Router來決定主從自動切換,業務可以正常訪問。程式配置不需要做任何修改。

MySQL Router讀寫分離原理:

MySQL Router接受前端應用程式請求後,根據不同的埠來區分讀寫,把連線讀寫埠的所有查詢發往主庫,把連線只讀埠的select查詢以輪詢方式發往多個從庫,從而實現讀寫分離的目的。讀寫返回的結果會交給MySQL Router,由MySQL Router返回給客戶端的應用程式。

3.3.mysql router主要功能

MySQL Router的主要用途是讀寫分離,主主故障自動切換,負載均衡,連線池等。

4.Mycat

官網:http://www.mycat.org.cn/

4.1.mycat簡介

Mycat是基於開源cobar演變而來,對cobar的程式碼進行了徹底的重構,使用NIO重構了網路模組,並且優化了Buffer核心,增強了聚合,Join等基本特性,同時相容絕大多數資料庫成為通用的資料庫中介軟體。1.4 版本以後 完全的脫離基本cobar核心,結合Mycat叢集管理、自動擴容、智慧優化,成為高效能的中介軟體。

  • 一個徹底開源的,面向企業應用開發的大資料庫叢集
  • 支援事務、ACID、可以替代MySQL的加強版資料庫
  • 一個可以視為MySQL叢集的企業級資料庫,用來替代昂貴的Oracle叢集
  • 一個融合記憶體快取技術、NoSQL技術、HDFS大資料的新型SQL Server
  • 結合傳統資料庫和新型分散式資料倉庫的新一代企業級資料庫產品
  • 一個新穎的資料庫中介軟體產品

4.2.mycat架構

image005

4.3.mycat主要功能

支援SQL92標準

遵守Mysql原生協議,跨語言,跨平臺,跨資料庫的通用中介軟體代理。

基於心跳的自動故障切換,支援讀寫分離,支援MySQL主從,以及galera cluster叢集。

支援Galera for MySQL叢集,Percona Cluster或者MariaDB cluster

基於Nio實現,有效管理執行緒,高併發問題。

支援資料的多片自動路由與聚合,支援sum,count,max等常用的聚合函式。

支援單庫內部任意join,支援跨庫2表join,甚至基於caltlet的多表join。

支援通過全域性表,ER關係的分片策略,實現了高效的多表join查詢。

支援多租戶方案。

支援分散式事務(弱xa)。

支援全域性序列號,解決分散式下的主鍵生成問題。

分片規則豐富,外掛化開發,易於擴充套件。

強大的web,命令列監控。

支援前端作為mysq通用代理,後端JDBC方式支援Oracle、DB2、SQL Server 、 mongodb 、巨杉。

支援密碼加密

支援服務降級

支援IP白名單

支援SQL黑名單、sql注入攻擊攔截

支援分表(1.6)

叢集基於ZooKeeper管理,線上升級,擴容,智慧優化,大資料處理(2.0開發版)。

5.Cobar

官網:https://github.com/alibaba/cobar/wiki

5.1.cobar簡介

Cobar是提供關係型資料庫(MySQL)分散式服務的中介軟體,它可以讓傳統的資料庫得到良好的線性擴充套件,並看上去還是一個數據庫,對應用保持透明。

產品在阿里巴巴穩定執行3年以上。

接管了3000+個MySQL資料庫的schema。

叢集日處理線上SQL請求50億次以上。

叢集日處理線上資料流量TB級別以上。

5.2.cobar架構

image007

5.3.cobar現狀

2013年阿里的Cobar在社群使用過程中發現存在一些比較嚴重的問題,及其使用限制,後來在cobar的基礎上改良誕生mycat,也就是目前cobar的代替版,而且2013年之後就沒有版本更新了。

6.Amoeba

官網:http://docs.hexnova.com/amoeba/

6.1.amoeba簡介

Amoeba(變形蟲)專案,該開源框架於2008年 開始釋出一款 Amoeba for Mysql軟體。這個軟體致力於MySQL的分散式資料庫前端代理層,它主要在應用層訪問MySQL的 時候充當SQL路由功能,專注於分散式資料庫代理層(Database Proxy)開發。座落與 Client、DB Server(s)之間,對客戶端透明。具有負載均衡、高可用性、SQL 過濾、讀寫分離、可路由相關的到目標資料庫、可併發請求多臺資料庫合併結果。 通過Amoeba你能夠完成多資料來源的高可用、負載均衡、資料切片的功能

6.2.amoeba架構

image009

6.3.amoeba現狀

目前作者已經停止維護。

7.Mysql proxy

7.1.mysql proxy簡介

MySQL Proxy是一個處於你的client端和MySQL server端之間的簡單程式,它可以監測、分析或改變它們的通訊。它使用靈活,沒有限制,常見的用途包括:負載均衡,故障、查詢分析,查詢過濾和修改等等。

MySQL Proxy就是這麼一箇中間層代理,簡單的說,MySQL Proxy就是一個連線池,負責將前臺應用的連線請求轉發給後臺的資料庫,並且通過使用lua指令碼,可以實現複雜的連線控制和過濾,從而實現讀寫分離和負載平衡。對於應用來說,MySQL Proxy是完全透明的,應用則只需要連線到MySQL Proxy的監聽埠即可。當然,這樣proxy機器可能成為單點失效,但完全可以使用多個proxy機器做為冗餘,在應用伺服器的連線池配置中配置到多個proxy的連線引數即可。

MySQL Proxy更強大的一項功能是實現“讀寫分離”,基本原理是讓主資料庫處理事務性查詢,讓從庫處理SELECT查詢。資料庫複製被用來把事務性查詢導致的變更同步到叢集中的從庫。

7.2.mysql proxy現狀

自從mysql官網出現mysql router之後,mysql proxy就已經停止維護了。

8.客戶端分片

8.1.客戶端分片簡介

程式客戶端進行分庫分表。也就是直接在程式裡面進行資料庫和表的拆分,例如使用者表。根據使用者的UID,例如13678789,根據最後一位,可以拆分為0-9共10個數據庫,把尾號是0的存入db_user_0資料庫,尾號是1的存入db_user_1資料庫,select的時候也是一樣。然後根據倒數第二位,可以拆分為0-9共10張表,根據倒數第二的尾號寫入相應的表中。例如13678789這個UID的資訊,寫入db_user_9資料庫的table_user_8的表中。

8.2.優點

(1)不需要使用中介軟體對效能沒有影響

(2)通過程式碼控制,可定義性強

9.後記

對於上面的mysql中介軟體,我個人建議在生產中使用atlas和mycat,開發實力較強或者有DBA的情況下可以使用客戶端分片。Mysql router感覺目前還不是很成熟,至於其他的中介軟體作者都不更新了,只要沒有歷史遺留問題