1. 程式人生 > >MySQL Cluster集群搭建與測試

MySQL Cluster集群搭建與測試

部署 配置文件 磁盤 int 分布式數據庫 fig 軟件 集群 因此

概述 MySQL Cluster 是MySQL 適合於分布式計算環境的高實用、可拓展、高性能、高冗余版本,其研發設計的初衷就是要滿足許多行業裏的最嚴酷應用要求,這些應用中經常要求數據庫運行的可靠性要達到99.999%。MySQL Cluster允許在無共享的系統中部署“內存中”數據庫集群,通過無共享體系結構,系統能夠使用廉價的硬件,而且對軟硬件無特殊要求。此外,由於每個組件有自己的內存和磁盤,不存在單點故障。 實際上,MySQL集群是把一個叫做NDB的內存集群存儲引擎集成與標準的MySQL服務器集成。它包含一組計算機,每個都跑一個或者多個進程,這可能包括一個MySQL服務器,一個數據節點,一個管理服務器和一個專有的一個數據訪問程序。 MySQL Cluster能夠使用多種故障切換和負載平衡選項配置NDB存儲引擎,但在Cluster 級別上的存儲引擎上做這個最簡單。以下為MySQL集群結構關系圖: 技術分享圖片
技術分享圖片 MySQL從結構看,由3類節點(計算機或進程)組成,分別是: 管理節點:用於給整個集群其他節點提供配置、管理、仲裁等功能。理論上通過一臺服務器提供服務就可以了。 數據節點:MySQL Cluster的核心,存儲數據、日誌,提供數據的各種管理服務。2個以上 時就能實現集群的高可用保證,DB節點增加時,集群的處理速度會變慢。 SQL節點(API):用於訪問MySQL Cluster數據,提供對外應用服務。增加 API 節點會提高整個集群的並發訪問速度和整體的吞吐量,該節點 可以部署在Web應用服務器上,也可以部署在專用的服務器上,也開以和DB部署在同一臺服務器上。 NDB引擎 MySQL Cluster 使用了一個專用的基於內存的存儲引擎——NDB引擎,這樣做的好處是速度快, 沒有磁盤I/O的瓶頸,但是由於是基於內存的,所以數據庫的規模受系統總內存的限制, 如果運行NDB的MySQL服務器一定要內存夠大,比如4G, 8G, 甚至16G。NDB引擎是分布式的,它可以配置在多臺服務器上來實現數據的可靠性和擴展性,理論上 通過配置2臺NDB的存儲節點就能實現整個數據庫集群的冗余性和解決單點故障問題。 缺陷
  • 基於內存,數據庫的規模受集群總內存的大小限制
  • 基於內存,斷電後數據可能會有數據丟失,這點還需要通過測試驗證。
  • 多個節點通過網絡實現通訊和數據同步、查詢等操作,因此整體性受網絡速度影響,因此速度也比較慢
優點
  • 多個節點之間可以分布在不同的地理位置,因此也是一個實現分布式數據庫的方案。
  • 擴展性很好,增加節點即可實現數據庫集群的擴展。
  • 冗余性很好,多個節點上都有完整的數據庫數據,因此任何一個節點宕機都不會造成服務中斷。
實現高可用性的成本比較低,不象傳統的高可用方案一樣需要共享的存儲設備和專用的軟件才能實現,NDB 只要有足夠的內存就能實現。 本文將搭建一個最簡化的MySQL Cluster系統,配置方法中的所有命令都是以root賬戶運行。這個MySQL Cluster包含一個管理結點、兩個數據結點、兩個SQL結點,這五個結點會分別安裝在五個虛擬機上,虛擬機的名稱和IP如下所示:
管理節點 node1 10.80.3.89
數據節點1 node2 10.80.3.93
數據節點2 node4 10.29.1.180
SQL節點1 node3 10.80.3.90
SQL節點2 node5 10.29.1.181
一、公共配置 安裝MySQL-Cluster(確保環境中已安裝cmake,ncurses-devel,jdk1.8+) mysql-cluster-gpl-7.4.12.tar.gz 關閉防火墻,selinux 二、配置管理結點 1. 配置config.ini配置文件 mkdir /var/lib/mysql-cluster cd /var/lib/mysql-cluster vi config.ini [ndbd default] NoOfReplicas=2 #存儲節點的數量 DataMemory=200M #每個數據節點中給數據分配的內存 IndexMemory=20M #每個數據節點中給索引分配的內存 [ndb_mgmd] #配置管理節點 NodeId=1 hostname=10.80.3.89 datadir=/var/lib/mysql-cluster #管理節點數據(日誌)目錄 [ndbd] #數據節點配置 NodeId=2 hostname=10.80.3.93 datadir=/usr/local/mysql/data #數據節點目錄 [ndbd] NodeId=3 hostname=10.29.1.180 datadir=/usr/local/mysql/data [mysqld] NodeId=4 hostname=10.80.3.90 [mysqld] NodeId=5 hostname=10.29.1.181 [mysqld] #一定要留一個空的,以備擴展使用,否則會出現Failed to allocate nodeid No free node id found for ndbd(NDB) 錯誤 2. 安裝管理結點 安裝管理節點,不需要mysqld二進制文件,只需要MySQL Cluster服務端程序(ndb_mgmd)和監聽客戶端程序(ndb_mgm) cp /usr/local/mysql/bin/ndb_mgm* /usr/local/bin cd /usr/local/bin chmod +x ndb_mgm* 三、配置數據結點 1. 添加mysql組和用戶 groupadd mysql useradd -g mysql mysql 2. 配置my.cnf配置文件 vi /etc/my.cnf [mysqld] basedir=/usr/local/mysql datadir=/usr/local/mysql/data socket=/usr/local/mysql/sock/mysql.sock user=mysql # Disabling symbolic-links is recommended to prevent assorted security risks symbolic-links=0 [mysqld_safe] log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid [mysql_cluster] ndb-connectstring=10.80.3.89 3. 創建系統數據庫 cd /usr/local/mysql mkdir sock sh scripts/mysql_install_db.sh --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data 4. 設置數據目錄 chown -R root . chown -R mysql.mysql /usr/local/mysql/data chown -R mysql.mysql /usr/local/mysql/sock chgrp -R mysql . 5. 配置MySQL服務 cp support-files/mysql.server /etc/rc.d/init.d/ chmod +x /etc/rc.d/init.d/mysql.server chkconfig --add mysql.server 四、配置SQL結點 1. 添加mysql組和用戶 groupadd mysql useradd -g mysql mysql 2. 配置my.cnf配置文件 vi /etc/my.cnf [client] socket=/usr/local/mysql/sock/mysql.sock [mysqld] ndbcluster datadir=/usr/local/mysql/data socket=/usr/local/mysql/sock/mysql.sock ndb-connectstring=10.80.3.89 [mysql_cluster] ndb-connectstring=10.80.3.89 3. 創建系統數據庫 cd /usr/local/mysql mkdir sock sh scripts/mysql_install_db.sh --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data 4. 設置數據目錄 chown -R root . chown -R mysql.mysql /usr/local/mysql/data chown -R mysql.mysql /usr/local/mysql/sock chgrp -R mysql . 5. 配置MySQL服務 cp support-files/mysql.server /etc/rc.d/init.d/ chmod +x /etc/rc.d/init.d/mysql.server chkconfig --add mysql.server 五、Cluster環境啟動 註意啟動順序:管理節點->數據節點->SQL節點 1. 啟動管理結點 ndb_mgmd -f /var/lib/mysql-cluster/config.ini --initial 監聽客戶端 ndb_mgm 技術分享圖片 技術分享圖片 2. 啟動數據結點 首次啟動,則需要添加--initial參數,以便進行NDB節點的初始化工作。在以後的啟動過程中,則是不能添加該參數的,否則ndbd程序會清除在之前建立的所有用於恢復的數據文件和日誌文件。 /usr/local/mysql/bin/ndbd --initial 技術分享圖片 技術分享圖片 技術分享圖片 技術分享圖片 技術分享圖片 技術分享圖片 3. 啟動SQL結點 /usr/local/mysql/bin/mysqld_safe --user=mysql & 至此集群啟動成功 技術分享圖片 技術分享圖片 六、集群測試 1. 測試一 現在我們在其中一個SQL結點上進行相關數據庫的創建,然後到另外一個SQL結點上看看數據是否同步。 在SQL結點1(10.80.3.90)上執行 /usr/local/mysql/bin/mysql -uroot mysql>show databases; mysql>create database aa; mysql>use aa; mysql>create table test (i int) engine=ndb; //這裏必須指定數據庫表的引擎為NDB,否則同步失敗 mysql> insert into test values(1); mysql> select * from test; 然後在SQL結點2(10.29.1.181)上看數據是否同步過來了 技術分享圖片 技術分享圖片 2. 測試二 模擬SQL節點單點故障 關閉SQL節點2,在SQL節點1上添加數據,然後啟動SQL節點2,發現數據已經同步到SQL節點2。 3.測試三 模擬數據節點單點故障 關閉數據節點2,在SQL節點1上添加數據,發現數據已經同步到SQL節點2。 七、關閉集群 1. 關閉管理節點和數據節點,只需要在管理節點執行: ndb_mgm -e shutdown 技術分享圖片 技術分享圖片 2. 然後關閉Sql節點,分別在2個節點裏運行: 技術分享圖片 技術分享圖片

MySQL Cluster集群搭建與測試