MySQL Cluster集群搭建與測試
阿新 • • 發佈:2019-02-16
部署 配置文件 磁盤 int 分布式數據庫 fig 軟件 集群 因此 概述
MySQL Cluster 是MySQL 適合於分布式計算環境的高實用、可拓展、高性能、高冗余版本,其研發設計的初衷就是要滿足許多行業裏的最嚴酷應用要求,這些應用中經常要求數據庫運行的可靠性要達到99.999%。MySQL Cluster允許在無共享的系統中部署“內存中”數據庫集群,通過無共享體系結構,系統能夠使用廉價的硬件,而且對軟硬件無特殊要求。此外,由於每個組件有自己的內存和磁盤,不存在單點故障。
實際上,MySQL集群是把一個叫做NDB的內存集群存儲引擎集成與標準的MySQL服務器集成。它包含一組計算機,每個都跑一個或者多個進程,這可能包括一個MySQL服務器,一個數據節點,一個管理服務器和一個專有的一個數據訪問程序。
MySQL Cluster能夠使用多種故障切換和負載平衡選項配置NDB存儲引擎,但在Cluster 級別上的存儲引擎上做這個最簡單。以下為MySQL集群結構關系圖:
MySQL從結構看,由3類節點(計算機或進程)組成,分別是:
管理節點:用於給整個集群其他節點提供配置、管理、仲裁等功能。理論上通過一臺服務器提供服務就可以了。
數據節點:MySQL Cluster的核心,存儲數據、日誌,提供數據的各種管理服務。2個以上 時就能實現集群的高可用保證,DB節點增加時,集群的處理速度會變慢。
SQL節點(API):用於訪問MySQL Cluster數據,提供對外應用服務。增加 API 節點會提高整個集群的並發訪問速度和整體的吞吐量,該節點 可以部署在Web應用服務器上,也可以部署在專用的服務器上,也開以和DB部署在同一臺服務器上。
NDB引擎
MySQL Cluster 使用了一個專用的基於內存的存儲引擎——NDB引擎,這樣做的好處是速度快, 沒有磁盤I/O的瓶頸,但是由於是基於內存的,所以數據庫的規模受系統總內存的限制, 如果運行NDB的MySQL服務器一定要內存夠大,比如4G, 8G, 甚至16G。NDB引擎是分布式的,它可以配置在多臺服務器上來實現數據的可靠性和擴展性,理論上 通過配置2臺NDB的存儲節點就能實現整個數據庫集群的冗余性和解決單點故障問題。
缺陷
一、公共配置
安裝MySQL-Cluster(確保環境中已安裝cmake,ncurses-devel,jdk1.8+)
mysql-cluster-gpl-7.4.12.tar.gz
關閉防火墻,selinux
二、配置管理結點
1. 配置config.ini配置文件
mkdir /var/lib/mysql-cluster
cd /var/lib/mysql-cluster
vi config.ini
[ndbd default]
NoOfReplicas=2 #存儲節點的數量
DataMemory=200M #每個數據節點中給數據分配的內存
IndexMemory=20M #每個數據節點中給索引分配的內存
[ndb_mgmd] #配置管理節點
NodeId=1
hostname=10.80.3.89
datadir=/var/lib/mysql-cluster #管理節點數據(日誌)目錄
[ndbd] #數據節點配置
NodeId=2
hostname=10.80.3.93
datadir=/usr/local/mysql/data #數據節點目錄
[ndbd]
NodeId=3
hostname=10.29.1.180
datadir=/usr/local/mysql/data
[mysqld]
NodeId=4
hostname=10.80.3.90
[mysqld]
NodeId=5
hostname=10.29.1.181
[mysqld] #一定要留一個空的,以備擴展使用,否則會出現Failed to allocate nodeid No free node id found for ndbd(NDB) 錯誤
2. 安裝管理結點
安裝管理節點,不需要mysqld二進制文件,只需要MySQL Cluster服務端程序(ndb_mgmd)和監聽客戶端程序(ndb_mgm)
cp /usr/local/mysql/bin/ndb_mgm* /usr/local/bin
cd /usr/local/bin
chmod +x ndb_mgm*
三、配置數據結點
1. 添加mysql組和用戶
groupadd mysql
useradd -g mysql mysql
2. 配置my.cnf配置文件
vi /etc/my.cnf
[mysqld]
basedir=/usr/local/mysql
datadir=/usr/local/mysql/data
socket=/usr/local/mysql/sock/mysql.sock
user=mysql
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
[mysql_cluster]
ndb-connectstring=10.80.3.89
3. 創建系統數據庫
cd /usr/local/mysql
mkdir sock
sh scripts/mysql_install_db.sh --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
4. 設置數據目錄
chown -R root .
chown -R mysql.mysql /usr/local/mysql/data
chown -R mysql.mysql /usr/local/mysql/sock
chgrp -R mysql .
5. 配置MySQL服務
cp support-files/mysql.server /etc/rc.d/init.d/
chmod +x /etc/rc.d/init.d/mysql.server
chkconfig --add mysql.server
四、配置SQL結點
1. 添加mysql組和用戶
groupadd mysql
useradd -g mysql mysql
2. 配置my.cnf配置文件
vi /etc/my.cnf
[client]
socket=/usr/local/mysql/sock/mysql.sock
[mysqld]
ndbcluster
datadir=/usr/local/mysql/data
socket=/usr/local/mysql/sock/mysql.sock
ndb-connectstring=10.80.3.89
[mysql_cluster]
ndb-connectstring=10.80.3.89
3. 創建系統數據庫
cd /usr/local/mysql
mkdir sock
sh scripts/mysql_install_db.sh --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
4. 設置數據目錄
chown -R root .
chown -R mysql.mysql /usr/local/mysql/data
chown -R mysql.mysql /usr/local/mysql/sock
chgrp -R mysql .
5. 配置MySQL服務
cp support-files/mysql.server /etc/rc.d/init.d/
chmod +x /etc/rc.d/init.d/mysql.server
chkconfig --add mysql.server
五、Cluster環境啟動
註意啟動順序:管理節點->數據節點->SQL節點
1. 啟動管理結點
ndb_mgmd -f /var/lib/mysql-cluster/config.ini --initial
監聽客戶端
ndb_mgm
2. 啟動數據結點
首次啟動,則需要添加--initial參數,以便進行NDB節點的初始化工作。在以後的啟動過程中,則是不能添加該參數的,否則ndbd程序會清除在之前建立的所有用於恢復的數據文件和日誌文件。
/usr/local/mysql/bin/ndbd --initial
3. 啟動SQL結點
/usr/local/mysql/bin/mysqld_safe --user=mysql &
至此集群啟動成功
六、集群測試
1. 測試一
現在我們在其中一個SQL結點上進行相關數據庫的創建,然後到另外一個SQL結點上看看數據是否同步。
在SQL結點1(10.80.3.90)上執行
/usr/local/mysql/bin/mysql -uroot
mysql>show databases;
mysql>create database aa;
mysql>use aa;
mysql>create table test (i int) engine=ndb; //這裏必須指定數據庫表的引擎為NDB,否則同步失敗
mysql> insert into test values(1);
mysql> select * from test;
然後在SQL結點2(10.29.1.181)上看數據是否同步過來了
2. 測試二
模擬SQL節點單點故障
關閉SQL節點2,在SQL節點1上添加數據,然後啟動SQL節點2,發現數據已經同步到SQL節點2。
3.測試三
模擬數據節點單點故障
關閉數據節點2,在SQL節點1上添加數據,發現數據已經同步到SQL節點2。
七、關閉集群
1. 關閉管理節點和數據節點,只需要在管理節點執行:
ndb_mgm -e shutdown
2. 然後關閉Sql節點,分別在2個節點裏運行:
- 基於內存,數據庫的規模受集群總內存的大小限制
- 基於內存,斷電後數據可能會有數據丟失,這點還需要通過測試驗證。
- 多個節點通過網絡實現通訊和數據同步、查詢等操作,因此整體性受網絡速度影響,因此速度也比較慢
- 多個節點之間可以分布在不同的地理位置,因此也是一個實現分布式數據庫的方案。
- 擴展性很好,增加節點即可實現數據庫集群的擴展。
- 冗余性很好,多個節點上都有完整的數據庫數據,因此任何一個節點宕機都不會造成服務中斷。
MySQL Cluster集群搭建與測試