Mongodb中資料聚合之MapReduce
Mongodb是針對大資料量環境下誕生的用於儲存大資料量的非關係型資料庫,針對大量的資料,如何進行統計操作至關重要,那麼如何從Mongodb中統計一些資料呢?
在Mongodb中,給我們提供了三種用於資料聚合的方式:
(3)使用mapReduce進行統計;
今天我們首先來講講mapReduce是如何統計,在後續的文章中,將另起文章進行相關說明。
MapReduce是啥呢?以我的理解,其實就是對集合中的各個滿足條件的文件進行預處理,整理出想要的資料然後進行統計得到最終的統計結果。其中map函式用於對集合中的各個滿足條件的文件進行預處理,整理出想要的資料。Reduce函式用於對整理出的資料進行處理得到統計結果。Map函式和Reduce函式都是JavaScript函式。
首先,我們先構造一個測試資料集test,使用js指令碼往集合中隨機插入一組資料,每條記錄是哪個人花了多少錢買了什麼東西。具體指令碼test1.js如下:
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;">for( var i=0; i<100; i++){ var rID=Math.floor(Math.random()*10); var price = parseFloat((Math.random()*10).toFixed(2)); if(rID<3){ db.test.insert({"user":"majing","sku":rID,"price":price}); } else if(rID>=3 && rID<5){ db.test.insert({"user":"wufenglei","sku":rID,"price":price}); } else if(rID>=5 && rID<8){ db.test.insert({"user":"wufenglei","sku":rID,"price":price}); } else { db.test.insert({"user":"liyonghu","sku":rID,"price":price}); } }</span></span>
接下來我們通過在控制檯執行指令碼來向資料庫插入具體的資料,具體執行指令如下:
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;">mongo 127.0.0.1:27017/test J:/test1.js</span></span>
執行之後,通過MongoVUE來檢視下具體的資料,如下所示,資料已經插入到集合中了:
接下來,我們可以做幾個簡單的統計操作了。
(1)統計不同使用者都買了多少個商品?編寫js指令碼test2.js,將結果儲存到statis1集合中。
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){ emit(this.user,1); } reduce=function(key, values){ var count = 0; values.forEach(function(val){count += val}); return count; } db.test.mapReduce(map, reduce, {out:"statics1"});</span></span></span>
按照剛才執行指令碼的方式執行test2.js,並檢視資料:
從資料庫就可以直觀看到統計資料了,若想檢視某個人如majing購買了多少個商品,直接使用
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;"><span style="font-family:KaiTi_GB2312;font-size:18px;">db.statics1.find({"_id":"majing"});</span></span></span></span>
(2)統計每個使用者購買的每個商品的數量情況
指令碼test3.js如下所示:
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){
emit({user:this.user,sku:this.sku},1);
}
reduce=function(key, values){
var count = 0;
values.forEach(function(val){count += val});
return count;
}
db.test.mapReduce(map, reduce, {out:"statics2"});</span></span></span>
按照剛才執行指令碼的方式執行test3.js,並檢視資料:
總共返回了10條記錄。此時如果我們想查詢某個使用者購買商品的情況,可以使用下面的查詢方法:
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">db.statics2.find({"_id.user":"majing"});</span></span></span>
如果我們想查詢某個使用者購買某個商品的情況,可以使用下面的查詢方法:
(3)統計每個使用者購買商品的總量及花費的總金額
指令碼test4.js如下所示:
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){
emit({user:this.user},{totalprice:this.price,count:1});
}
reduce=function(key, values){
var res = {totalprice:0.00,count:1};
values.forEach(function(val){res.totalprice += val.totalprice;res.count+=val.count;});
return res;
}
db.test.mapReduce(map, reduce, {out:"statics3"});</span></span></span>
按照剛才執行指令碼的方式執行test4.js,並檢視資料:(4)統計每個使用者購買商品的平均價錢
在這個情景下,我們需要用到說道mapReduce裡的另一個引數finalize,該引數是一個javascript指令碼函式,用於對reduce後的集合進行一個後期處理操作。
執行指令碼test5.js,具體如下所示:
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){
emit({user:this.user},{totalprice:this.price,count:1});
}
reduce=function(key, values){
var res = {totalprice:0.00,count:1,average:0};
values.forEach(function(val){res.totalprice += val.totalprice;res.count+=val.count;});
return res;
}
finalizeFunc=function(key,reduceResult){
reduceResult.totalprice=(reduceResult.totalprice).toFixed(2);
reduceResult.average=(reduceResult.totalprice/reduceResult.count).toFixed(2);
return reduceResult;
}
db.test.mapReduce(map, reduce, {out:"statics4",finalize:finalizeFunc});</span></span></span>
執行之後檢視得到的資料,具體如下所示,顯示了總價錢,商品數量和商品單價。
如果想查詢某個人的,可以和上面的查詢方法一樣,使用find()方法進行查詢:
<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">db.statics4.find({"_id.user":"majing"});</span></span></span>
以上通過4個簡單的例子對Mongodb中的MapReduce進行了簡單的說明,當然MapReduce功能很強大,大家如果想知道其他高階的使用方法,可以到Mongodb的官網進行查閱和學習,網址為 https://docs.mongodb.com/manual/reference/method/db.collection.mapReduce/ ,謝謝。