2. 程式人生 > >MongoDB3.6 分片集群

MongoDB3.6 分片集群

阿新 • • 發佈：2018-07-18
lin mongodb i++ server sharding lse desc 加載 add

介紹

時下大數據時代，海量數據與吞吐量的數據庫應用對單機的性能造成了較大的壓力，將會發生CPU耗盡，存儲壓力大，可用資源耗盡等問題。
便出現了新的技術，分片技術。它是MongoDB用來將大型集合分割到不同服務器上所采用的的方法，它幾乎是能夠自動完成所有事情，只要告訴MongoDB要分配的數據，它就能夠自動維護數據到不同服務器之間均衡存儲。

分片機制提供了三種優勢：

  1. 對集群進行抽象，讓集群"不可見"
  2. 保證集群總是可讀寫
  3. 使得集群易於擴展

分片集群架構：

Config server： 存儲集群所有節點，分片數據路由信息，默認需要配置3個config server節點；
Mongos：

提供對外應用的訪問，所有操作均通過mongos執行，一般有多個mongos節點，數據遷移和數據自動平衡；
Mongod： 存儲應用數據記錄，一般有多個Mongod節點，達到數據的分片目的。

系統環境：

1. 三臺服務器配置如下：

IP地址 路由服務器 配置服務器 shard1 shard2 shard3
192.168.96.10 20000 21000 27001 27002 27003
192.168.96.11 20000 21000 27001 27002 27003
192.168.96.12 20000 21000 27001 27002 27003

2.操作系統：CentOS 7

3.關閉防火墻和Selinux功能

4.軟件包:mongodb-linux-x86_64-rhel70-3.6.6.tgz 密碼：4h77

開始部署

第一部分 三臺服務器安裝及配置

1.解壓安裝包

tar -zxvf mongodb-linux-x86_64-rhel70-3.6.6.tgz -C /usr/local

2.切換到軟件目錄

cd /usr/local

3.重命名目錄名

mv mongodb-linux-x86_64-rhel70-3.6.6 mongodb

4.創建路由、配置、分片服務器的配置、數據、日誌管理目錄

mkdir -p /data/mongodb/conf
mkdir -p /data/mongodb/mongos/log
mkdir -p /data/mongodb/config/data
mkdir -p /data/mongodb/config/log

#循環創建分片服務器目錄
for i in 1 2 3
do
    mkdir -p /data/mongodb/shard$i/data
    mkdir -p /data/mongodb/shard$i/log
done

5.創建管理用戶

useradd -M -s /sbin/nologin mongo

6.修改目錄權限

chown -R mongo.mongo /usr/local/mongodb
chown -R mongo.mongo /data/mongodb

7.添加到系統環境變量中

echo "PATH=/usr/local/mongodb/bin:$PATH" >> /etc/profile

8.重新加載環境變量

source /etc/profile

9.系統內存等優化

ulimit -n 25000
ulimit -u 25000
sysctl -w vm.zone_reclaim_mode=0
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

特別提醒：請檢查三臺服務器配置是否都已經配置並啟動好

第二部分 配置服務器（三臺配置步驟一致）

1.創建配置文件

vim /data/mongodb/conf/config.conf

#配置文件內容
pidfilepath = /data/mongodb/config/log/config-srv.pid
dbpath = /data/mongodb/config/data
logpath = /data/mongodb/config/log/config-srv.log
logappend = true
bind_ip = 0.0.0.0
port = 21000
fork = true
#declare this is a config db of a cluster;
configsvr = true

#復制集名稱
replSet=configs

#設置最大連接數
maxConns=20000

2.創建啟動腳本：

vim /usr/lib/systemd/system/mongo-config.service

[Unit]
Description=mongodb-config
After=network.target remote-fs.target nss-lookup.target
[Service]
Type=forking
User=mongo
Group=mongo
ExecStart=/usr/local/mongodb/bin/mongod -f /data/mongodb/conf/config.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/usr/local/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/config.conf

PrivateTmp=true

[Install]
WantedBy=multi-user.target

3.啟動configsrv服務器

systemctl daemon-reload
systemctl enable mongo-config
systemctl start mongo-config

特別提醒：三臺服務器都配置完畢後，再進行以下初始化步驟

4.初始化復制集（登錄任意一臺服務器進行初始化復制集）

mongo --port 21000

//配置
> config={"_id":"configs",members:[{"_id":0,"host":"192.168.96.10:21000"},{"_id":1,"host":"192.168.96.11:21000"},{"_id":2,"host":"192.168.96.12:21000"}]}

//初始化
> rs.initiate(config)

//查看狀態
> rs.status()

第三部分 分片服務器

一、shard1分片服務器

1.創建配置文件

vim /data/mongodb/conf/shard1.conf

pidfilepath = /data/mongodb/shard1/log/shard1.pid
dbpath = /data/mongodb/shard1/data
logpath = /data/mongodb/shard1/log/shard1.log
logappend = true
journal = true
quiet = true
bind_ip = 0.0.0.0
port = 27001
fork = true

#復制集名稱
replSet=shard1

#declare this is a shard db of a cluster;
shardsvr = true

#設置最大連接數
maxConns=20000

2.創建啟動腳本

vim /usr/lib/systemd/system/mongo-shard1.service

[Unit]
Description=mongodb-shard1
After= mongo-config.target network.target
[Service]
Type=forking
User=mongo
Group=mongo
ExecStart=/usr/local/mongodb/bin/mongod -f /data/mongodb/conf/shard1.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/usr/local/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/shard1.conf
PrivateTmp=true
[Install]
WantedBy=multi-user.target

3.啟動服務

systemctl daemon-reload
systemctl enable mongo-shard1
systemctl start mongo-shard1

特別提醒：三臺服務器都配置完畢後，再進行以下初始化步驟

4.初始化復制集（登錄任意一臺服務器進行初始化復制集）

mongo --port 27001

> use admin

> config={
"_id":"shard1",members:[{"_id":0,"host":"192.168.96.10:27001",arbiterOnly:true},{"_id":1,"host":"192.168.96.11:27001"},{"_id":2,"host":"192.168.96.12:27001"}]}

> rs.initiate(config)

> rs.status()

二、shard2分片服務器

1.創建配置文件

vim /data/mongodb/conf/shard2.conf

pidfilepath = /data/mongodb/shard2/log/shard2.pid
dbpath = /data/mongodb/shard2/data
logpath = /data/mongodb/shard2/log/shard2.log
logappend = true
journal = true
quiet = true
bind_ip = 0.0.0.0
port = 27002
fork = true
#復制集名稱
replSet=shard2
#declare this is a shard db of a cluster;
shardsvr = true
#設置最大連接數
maxConns=20000

2.創建啟動腳本

vim /usr/lib/systemd/system/mongo-shard2.service

[Unit]
Description=mongodb-shard2
After= mongo-config.target network.target
[Service]
Type=forking
User=mongo
Group=mongo
ExecStart=/usr/local/mongodb/bin/mongod -f /data/mongodb/conf/shard2.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/usr/local/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/shard2.conf
PrivateTmp=true
[Install]
WantedBy=multi-user.target

3.啟動服務

systemctl daemon-reload
systemctl enable mongo-shard2
systemctl start mongo-shard2

特別提醒：三臺服務器都配置完畢後，再進行以下初始化步驟

4.初始化復制集（登錄任意一臺服務器進行初始化復制集）

mongo --port 27002

> use admin

> config={"_id":"shard2",members:[{ "_id":0,"host":"192.168.96.10:27002"}, {"_id":1,"host":"192.168.96.11:27002",arbiterOnly:true},{"_id":2,"host":"192.168.96.12:27002"}]}

> rs.initiate(config);

> rs.status()

shard3分片服務器

1.創建配置文件

vim /data/mongodb/conf/shard3.conf

pidfilepath = /data/mongodb/shard3/log/shard3.pid
dbpath = /data/mongodb/shard3/data
logpath = /data/mongodb/shard3/log/shard3.log
logappend = true
journal = true
quiet = true
bind_ip = 0.0.0.0
port = 27003
fork = true

#復制集名稱
replSet=shard3
#declare this is a shard db of a cluster;
shardsvr = true

#設置最大連接數
maxConns=20000

2.創建啟動腳本

vim /usr/lib/systemd/system/mongo-shard3.service

```[Unit]
Description=mongodb-shard3
After= mongo-config.target network.target
[Service]
Type=forking
User=mongo
Group=mongo
ExecStart=/usr/local/mongodb/bin/mongod -f /data/mongodb/conf/shard3.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/usr/local/mongodb/bin/mongod --shutdown -f /data/mongodb/conf/shard3.conf

PrivateTmp=true

[Install]
WantedBy=multi-user.target


#### 3.創建啟動腳本

systemctl daemon-reload
systemctl enable mongo-shard3
systemctl start mongo-shard3


**特別提醒：三臺服務器都配置完畢後，再進行以下初始化步驟**

#### 4.初始化復制集（登錄任意一臺服務器進行初始化復制集）

> mongo --port 27003

use admin

config={"_id":"shard3",members:[{ "_id":0,"host":"192.168.96.10:27003"}, {"_id":1,"host":"192.168.96.11:27003"},{"_id":2,"host":"192.168.96.12:27003",arbiterOnly:true}]}

rs.initiate(config)

rs.status()

第四部分 mongos路由服務器

1.創建配置文件

vim /data/mongodb/conf/mongos.conf

pidfilepath = /data/mongodb/mongos/log/mongos.pid
logpath = /data/mongodb/mongos/log/mongos.log
logappend = true
bind_ip = 0.0.0.0
port = 20000
fork = true

#監聽的配置服務器的地址：端口，（重要、重要、重要）
configdb = configs/192.168.96.10:21000,192.168.96.11:21000,192.168.96.12:21000

#設置最大連接數
maxConns=20000

2.創建啟動腳本

vim /usr/lib/systemd/system/mongos.service

[Unit]
Description=Mongo Router Service
After=mongo-config.service

[Service]
Type=forking
User=mongo
Group=mongo
ExecStart=/usr/local/mongodb/bin/mongos --config /data/mongodb/conf/mongos.conf
Restart=on-failure

[Install]
WantedBy=multi-user.target

3.啟動服務

systemctl daemon-reload
systemctl enable mongos
systemctl start mongos

特別提醒：三臺服務器都配置完畢後，再進行以下步驟

4.啟動分片功能（登錄任意一臺服務器）

mongo --port 20000

> use admin

> sh.addShard("shard1/192.168.96.10:27001,192.168.96.11:27001,192.168.96.12:27001")
sh.addShard("shard2/192.168.96.10:27002,192.168.96.11:27002,192.168.96.12:27002")
sh.addShard("shard3/192.168.96.10:27003,192.168.96.11:27003,192.168.96.12:27003")

> sh.status()

5.檢查分片是否成功

> use school
> for(i=1;i<=1000;i++){db.user.insert({"id":i,"name":"jack"+i})}

//開啟school數據庫分片功能
> db.runCommand({enablesharding:"school"}};

//指定school數據庫需要分片的集合和片鍵
> db.runCommand({shardcollection:"school.user",key:{id:1}})

//查看狀態
> db.user.stats()

MongoDB3.6 分片集群

相關推薦

MongoDB3.6 分片集群

lin mongodb i++ server sharding lse desc 加載 add 介紹 時下大數據時代，海量數據與吞吐量的數據庫應用對單機的性能造成了較大的壓力，將會發生CPU耗盡，存儲壓力大，可用資源耗盡等問題。便出現了新的技術，分片技術。它是MongoD

MongoDB3.6分片復制集群

path .org collect 0.10 x86_64 ren 登錄 state 們的 概念 mongos 數據庫集群請求的入口，所有的請求都通過mongos進行協調，不需要在應用程序添加一個路由選擇器，mongos自己就是一個請求分發中心，它負責把對應的數據請求請求

mongodb3.6集群搭建:分片集群認證

open node roo mongodb stop 結點 ssl 重新 -s 上篇集群已經創建，現在加入認證。 1. 生成密鑰文件每個服務器上創建路徑： mkdir -p /var/lib/mongo/auth生成64字節的密鑰文件openssl rand -base64

【轉】使用YCSB測試mongodb分片集群性能

中產 adc set 日誌 階段 很快 配置服務 常見 chm 1. 測試工具 本次測試選取YCSB(Yahoo! Cloud System Benchmark)作為測試客戶端工具。YCSB是Yahoo開源的一個nosql測試工具，用來測試比較各種nosql的性能

Nagios監控mongodb分片集群服務實戰

check 演示 database 路由 easy interval oca mis har 1，監控插件下載Mongodb插件下載地址為：git clone git://github.com/mzupan/nagios-plugin-mongodb.git，剛開始本人

MongoDB 搭建分片集群

保存數據 img name 重要 過程 enables 範圍 cti eight 在MongoDB（版本 3.2.9）中，分片是指將collection分散存儲到不同的Server中，每個Server只存儲collection的一部分，服務分片的所有服務器組成分片集群。分片

mongo 3.4分片集群系列之一：淺談分片集群

通過 分片集群 分配 指定 可擴展性 key 負載 snap 無法 這篇為理論篇，稍後會有實踐篇 1、分片集群是個啥玩意兒 要回答這個問題，首先得知道它是由什麽東東組成的。 MongoDB分片集群由以下組件組成： mongos：mongos作為查詢路由器，提供客戶端應用程

mongo 3.4分片集群系列之五：詳解平衡器

大致 mongos 搭建 一次 相對 時間 表示 部分 man 這個系列大致想跟大家分享以下篇章（我會持續更新的↖(^ω^)↗）： 1、mongo 3.4分片集群系列之一：淺談分片集群 2、mongo 3.4分片集群系列之二：搭建分片集群--哈希分片 3、mongo 3.4

mongo 3.4分片集群系列之六：詳解配置數據庫

初始化 kpi 更新 並且 color tag 成員 gin sha 這個系列大致想跟大家分享以下篇章（我會持續更新的↖(^ω^)↗）： 1、mongo 3.4分片集群系列之一：淺談分片集群 2、mongo 3.4分片集群系列之二：搭建分片集群--哈希分片 3、mongo

monodb分片集群部署

cti 相同 clas 返回結果 disable test mes ucc rom 本文檔基於MongoDB版本3.6.2 下載地址： 建議使用最新版本 https://www.mongodb.com/download-center#community 安裝文件 集群i

MongoDB分片集群搭建

src strong onf 保存 仲裁 size runtime 提高 adding 最近搭建了一個Mongodb的分片集群，這裏將整個過程做個記錄。 一、規劃 MongoDB的分片集群，由mongos路由進程、配置服務器、分片集合組成。其中，mongos和配置服務器都是

MongoDB 分片集群搭建

ram file 子集 博客 cpu 工作 max ID 部署 一、概述 分片是一種在多臺機器上分配數據的方法。MongoDB使用分片來支持具有非常大的數據集和高吞吐量操作。有兩種解決系統增長的方法：垂直擴展和水平擴展。 垂直擴展涉及增加單個服務器的容量，例如使用更強大

MongoDB 分片集群

journal ron size ODB 連接 數量 mongo oca profile mongodb集群 組件： mongos：請求分發 config server 配置服務器 shard 分片數據服務器 三臺機器 192.168.174.128 192.168

ElasticSearch5.6.5集群部署及調優、Head和Bigdesk插件安裝

work 指點 app.js 模擬 eas disable firewalld sts 無法 一、簡介：Elasticsearch是一個基於Apache Lucene的開源搜索引擎。無論在開源還是專有領域，Lucene可以被認為是迄今為止最先進、性能最好的、功能最全的搜索引

MongoDb分片集群認證

其中 指定 認證 mongo 分配 creat role sts 只讀權限 本文主要基於已經搭建好的未認證集群，結合上篇Mongodb副本集分片集群模式環境部署（https://www.cnblogs.com/woxingwoxue/p/9875878.html）， Mon

centos7全離線安裝MongoDB3.2.8集群

baidu 啟動 config 離線安裝 離線 host -- ember 自啟動腳本 1.自啟動腳本/usr/local/mongodb/bin/mongod -f /usr/local/mongodb/master.conf/usr/local/mongodb/bin/

MyCat分片集群

ons 相同 創建數據庫 清晰 readonly .com str sha 訂單 數據庫集群會產生的問題： 自增ID問題 數據關聯查詢問題（水平拆分） 數據同步問題 數據庫集群 自動增長id產生重復的話，解決： UUID形式 （沒有排序 不是自增）

[Update] ELK 6.6.0 集群部署以及體驗使用插件X-pack

文檔 文件 oot elk logs 兩個文件 keystore arch 體驗 在之前的文章中已經介紹過如何安裝5.5.0的版本，今天我們來講解下如何使用6.6.0 看看有哪些變化，安裝流程參照這裏。 新版本對照老版本的安裝有哪些不同點: x-pack集成到了ES的目錄

在ubuntu18.04.2上搭建elasticsearch6.6.0集群

alt system ubuntu 失敗 gree success 技術分享 ber cse 操作系統： es的安裝：https://www.elastic.co/guide/en/elasticsearch/reference/current/deb.html 要緊的就這

mongo分片集群部署

man Once gin stop 信息 設置 eat 測試 選擇 測試環境192.168.56.101-213 前期準備： openssl rand -base64 756 > /home/software/mongodb/mongodbkey chmod