mongo叢集主要運用方式,以及另外兩種
mongodb 的叢集方式主要分為三種Replica Set / Sharding / Master-Slaver ,這裡只說明最簡單的叢集搭建方式(生產環境),如果有多個節點可以此類推或者檢視官方文件。
Replica Set
中文翻譯叫做副本集。其實簡單來說就是叢集當中包含了多份資料,保證主節點掛掉了,備節點能繼續提供資料服務,提供的前提就是資料需要和主節點一致。如下圖:
Mongodb(M)表示主節點,Mongodb(S)表示備節點,Mongodb(A)表示仲裁節點。主備節點儲存資料(M,S),仲裁節點不儲存資料。客戶端同時連線主節點與備節點,不連線仲裁節點。
預設設定下,主節點提供所有增刪查改服務,備節點不提供任何服務。但是可以通過設定使備節點提供查詢服務,這樣就可以減少主節點的壓力,當客戶端進行資料查詢時,請求自動轉到備節點上。這個設定叫做
仲裁節點是一種特殊的節點,它本身並不儲存資料,主要的作用是決定哪一個備節點在主節點掛掉之後提升為主節點,所以客戶端不需要連線此節點。這裡雖然只有一個備節點,但是仍然需要一個仲裁節點來提升備節點級別。
介紹完了叢集方案,那麼現在就開始搭建了。
1、將三臺計算機同時下載,解壓安裝檔案
下載命令:apt-get install mongo
2、同時建立mongodb資料資料夾
1 mkdir -p /mongodb/data/master 2 mkdir -p /mongodb/data/slaver3 mkdir -p /mongodb/data/arbiter 4 #三個目錄分別對應主,備,仲裁節點
3、建立配置檔案(M,S,A)
(一) 主節點配置檔案
1 #master.conf 2 dbpath=/mongodb/data/master 3 logpath=/mongodb/log/master.log 4 pidfilepath=/mongodb/master.pid 5 directoryperdb=true 6 logappend=true 7 replSet=testrs 8 bind_ip=10.10.148.130 9port=27017 10 oplogSize=10000 11 fork=true 12 noprealloc=true
(二) 從節點配置檔案
1 #slaver.conf 2 dbpath=/mongodb/data/slaver 3 logpath=/mongodb/log/slaver.log 4 pidfilepath=/mongodb/slaver.pid 5 directoryperdb=true 6 logappend=true 7 replSet=testrs 8 bind_ip=10.10.148.131 9 port=27017 10 oplogSize=10000 11 fork=true 12 noprealloc=true
(三) 仲裁節點配置檔案
1 #arbiter.conf 2 dbpath=/mongodb/data/arbiter 3 logpath=/mongodb/log/arbiter.log 4 pidfilepath=/mongodb/arbiter.pid 5 directoryperdb=true 6 logappend=true 7 replSet=testrs 8 bind_ip=10.10.148.132 9 port=27017 10 oplogSize=10000 11 fork=true 12 noprealloc=true
*配置檔案中引數解釋:
dbpath:資料存放目錄
logpath:日誌存放路徑
pidfilepath:程序檔案,方便停止mongodb
directoryperdb:為每一個數據庫按照資料庫名建立資料夾存放
logappend:以追加的方式記錄日誌
replSet:replica set的名字
bind_ip:mongodb所繫結的ip地址
port:mongodb程序所使用的埠號,預設為27017
oplogSize:mongodb操作日誌檔案的最大大小。單位為Mb,預設為硬碟剩餘空間的5%
fork:以後臺方式執行程序
noprealloc:不預先分配儲存
4、相繼啟動mongod 或者安裝mongo服務
進入每個mongodb節點的bin目錄下(配置檔案路徑有更改請自行更改下面命令)
./monood -f master.conf ./mongod -f slaver.conf ./mongod -f arbiter.conf
5、配置主,備,仲裁節點
可以通過客戶端連線mongodb,也可以直接在三個節點中選擇一個連線mongodb。
./mongo 10.10.148.130:27017 #ip和port是某個節點的地址 >use admin >cfg={ _id:"testrs", members:[ {_id:0,host:'10.10.148.130:27017',priority:2}, {_id:1,host:'10.10.148.131:27017',priority:1}, {_id:2,host:'10.10.148.132:27017',arbiterOnly:true}] }; >rs.initiate(cfg)
cfg是可以任意的名字,當然最好不要是mongodb的關鍵字,conf,config都可以。最外層的_id表示replica set的名字,members裡包含的是所有節點的地址以及優先順序。優先順序最高的即成為主節點,即這裡的10.10.148.130:27017。特別注意的是,對於仲裁節點,需要有個特別的配置——arbiterOnly:true。這個千萬不能少了,不然主備模式就不能生效。
6、測試配置是否成功
配置的生效時間根據不同的機器配置會有長有短,配置不錯的話基本上十幾秒內就能生效,有的配置需要一兩分鐘。如果生效了,執行rs.status()命令會看到如下資訊:
{ "set" : "testrs", "date" : ISODate("2013-01-05T02:44:43Z"), "myState" : 1, "members" : [ { "_id" : 0, "name" : "10.10.148.130:27017", "health" : 1, "state" : 1, "stateStr" : "PRIMARY", "uptime" : 200, "optime" : Timestamp(1357285565000, 1), "optimeDate" : ISODate("2013-01-04T07:46:05Z"), "self" : true }, { "_id" : 1, "name" : "10.10.148.131:27017", "health" : 1, "state" : 2, "stateStr" : "SECONDARY", "uptime" : 200, "optime" : Timestamp(1357285565000, 1), "optimeDate" : ISODate("2013-01-04T07:46:05Z"), "lastHeartbeat" : ISODate("2013-01-05T02:44:42Z"), "pingMs" : 0 }, { "_id" : 2, "name" : "10.10.148.132:27017", "health" : 1, "state" : 7, "stateStr" : "ARBITER", "uptime" : 200, "lastHeartbeat" : ISODate("2013-01-05T02:44:42Z"), "pingMs" : 0 } ], "ok" : 1 }
正在進行配置提示:"stateStr" : "RECOVERING"
後話:
Replica Set 是我現在主要使用的叢集方式,也是我使用過最穩定和高效的無規則大資料儲存方式。這樣的配置要求執行環境需要至少三臺windows/ubuntu,當然我們可以使用VM來進行虛擬化測試,在專案實施的過程中還是建議多臺伺服器進行配置,如果有能力當然可以上虛擬+儲存。至於大資料的資料檢索部分,千萬級別以下的使用mongodb的索引完全能解決,過億建議使用檢索平臺,最近個人在研究 elasticseach 大資料檢索平臺,如果有興趣的可以一起學習瞭解~ 以上是mongodb Replica Set 的配置過程。 小的敬上!
以上為轉自 https://www.cnblogs.com/callmecool/p/4662876.html
二:另外還有兩種部署方式如下
Sharding
和Replica Set類似,都需要一個仲裁節點,但是Sharding還需要配置節點和路由節點。就三種叢集搭建方式來說,這種是最複雜的。部署圖如下:
1.啟動資料節點
- ./mongod --fork --dbpath ../data/set1/ --logpath ../log/set1.log --replSet test #192.168.4.43
- ./mongod --fork --dbpath ../data/set2/ --logpath ../log/set2.log --replSet test #192.168.4.44
- ./mongod --fork --dbpath ../data/set3/ --logpath ../log/set3.log --replSet test #192.168.4.45 決策 不儲存資料
2.啟動配置節點
- ./mongod --configsvr --dbpath ../config/set1/ --port 20001 --fork --logpath ../log/conf1.log #192.168.4.30
- ./mongod --configsvr --dbpath ../config/set2/ --port 20002 --fork --logpath ../log/conf2.log #192.168.4.31
3.啟動路由節點
- ./mongos --configdb 192.168.4.30:20001,192.168.4.31:20002 --port 27017 --fork --logpath ../log/root.log #192.168.4.29
4.配置Replica Set
這裡可能會有點奇怪為什麼Sharding會需要配置Replica Set。其實想想也能明白,多個節點的資料肯定是相關聯的,如果不配一個Replica Set,怎麼標識是同一個叢集的呢。這也是人家mongodb的規定,咱們還是遵守吧。配置方式和之前所說的一樣,定一個cfg,然後初始化配置。
- ./mongo 192.168.4.43:27017 #ip和port是某個節點的地址
- >use admin
- >cfg={ _id:"testrs", members:[ {_id:0,host:'192.168.4.43:27017',priority:2}, {_id:1,host:'192.168.4.44:27017',priority:1},
- {_id:2,host:'192.168.4.45:27017',arbiterOnly:true}] };
- >rs.initiate(cfg) #使配置生效
5.配置Sharding
- ./mongo 192.168.4.29:27017 #這裡必須連線路由節點
- >sh.addShard("test/192.168.4.43:27017") #test表示replica set的名字 當把主節點新增到shard以後,會自動找到set裡的主,備,決策節點
- >db.runCommand({enableSharding:"diameter_test"}) #diameter_test is database name
- >db.runCommand( { shardCollection: "diameter_test.dcca_dccr_test",key:{"__avpSessionId":1}})
到這裡Sharding也已經搭建完成了,以上只是最簡單的搭建方式,其中某些配置仍然使用的是預設配置。如果設定不當,會導致效率異常低下,所以建議大家多看看官方文件再進行預設配置的修改。
Master-Slaver
這個是最簡答的叢集搭建,不過準確說也不能算是叢集,只能說是主備。並且官方已經不推薦這種方式,所以在這裡只是簡單的介紹下吧,搭建方式也相對簡單。
- ./mongod --master --dbpath /data/masterdb/ #主節點
- ./mongod --slave --source <masterip:masterport> --dbpath /data/slavedb/ 備節點
以上三種叢集搭建方式首選Replica Set,只有真的是大資料,Sharding才能顯現威力,畢竟備節點同步資料是需要時間的。Sharding可以將多片資料集中到路由節點上進行一些對比,然後將資料返回給客戶端,但是效率還是比較低的說。
我自己有測試過,不過具體的機器配置已經不記得了。Replica Set的ips在資料達到1400w條時基本能達到1000左右,而Sharding在300w時已經下降到500ips了,兩者的單位資料大小大概是10kb。大家在應用的時候還是多多做下效能測試,畢竟不像Redis有benchmark。
Mongodb現在用的還是比較多的,但是個人覺得配置太多了。。。。我看官網都看了好多天,才把叢集搭建的配置和注意要點弄明白。而且用過的人應該知道mongodb吃記憶體的問題,解決辦法只能通過ulimit來控制記憶體使用量,但是如果控制不好的話,mongodb會掛掉。。。