1. 程式人生 > >mongodb MongoDB 聚合 group(轉)

mongodb MongoDB 聚合 group(轉)

body 輸出 ddt limit 執行 有序 默認 進行 text

MongoDB 聚合

MongoDB中聚合(aggregate)主要用於處理數據(諸如統計平均值,求和等),並返回計算後的數據結果。有點類似sql語句中的 count(*)。

基本語法為:db.collection.aggregate( [ <stage1>, <stage2>, ... ] )

現在在mycol集合中有以下數據:

{ "_id" : 1, "name" : "tom", "sex" : "男", "score" : 100, "age" : 34 }
{ "_id" : 2, "name" : "jeke", "sex" : "男", "score" : 90, "age" : 24 }

{ "_id" : 3, "name" : "kite", "sex" : "女", "score" : 40, "age" : 36 }
{ "_id" : 4, "name" : "herry", "sex" : "男", "score" : 90, "age" : 56 }
{ "_id" : 5, "name" : "marry", "sex" : "女", "score" : 70, "age" : 18 }
{ "_id" : 6, "name" : "john", "sex" : "男", "score" : 100, "age" : 31 }

1、$sum 計算總和。

  Sql: select sex,count(*) from mycol group by sex

  MongoDb: db.mycol.aggregate([{group: {_id: ‘group: {_id: ‘sex‘, personCount: {$sum: 1}}}])

  技術分享圖片

  Sql: select sex,sum(score) totalScore from mycol group by sex

  MongoDb: db.mycol.aggregate([{group: {_id: ‘group: {_id: ‘sex‘, totalScore: {sum:sum:′score‘}}}])

  技術分享圖片

2、$avg 計算平均值

  Sql: select sex,avg(score) avgScore from mycol group by sex

  Mongodb: db.mycol.aggregate([{group: {_id: ‘group: {_id: ‘sex‘, avgScore: {avg:avg:′score‘}}}])

  技術分享圖片

3、$max 獲取集合中所有文檔對應值得最大值。

  Sql: select sex,max(score) maxScore from mycol group by sex

  Mongodb: db.mycol.aggregate([{group: {_id: ‘group: {_id: ‘sex‘, maxScore : {max:max:′score‘}}}])

  技術分享圖片

4、$min 獲取集合中所有文檔對應值得最小值。

  Sql: select sex,min(score) minScore from mycol group by sex

  Mongodb: db.mycol.aggregate([{group: {_id: ‘group: {_id: ‘sex‘, minScore : {min:min:′score‘}}}])

  技術分享圖片

5、$push 把文檔中某一列對應的所有數據插入值到一個數組中。

  Mongodb: db.mycol.aggregate([{group: {_id: ‘group: {_id: ‘sex‘, scores : {push:push:′score‘}}}])

  技術分享圖片

6、$addToSet 把文檔中某一列對應的所有數據插入值到一個數組中,去掉重復的

  db.mycol.aggregate([{group: {_id: ‘group: {_id: ‘sex‘, scores : {addToSet:addToSet:′score‘}}}])

  技術分享圖片

7、 $first 根據資源文檔的排序獲取第一個文檔數據。

   db.mycol.aggregate([{group: {_id: ‘group: {_id: ‘sex‘, firstPerson : {first:first:′name‘}}}])

  技術分享圖片

8、 $last 根據資源文檔的排序獲取最後一個文檔數據。

   db.mycol.aggregate([{group: {_id: ‘group: {_id: ‘sex‘, lastPerson : {last:last:′name‘}}}])

  技術分享圖片

9、全部統計 null

  db.mycol.aggregate([{group:{_id:null,totalScore:{group:{_id:null,totalScore:{push:‘$score‘}}}])

  技術分享圖片

例子

  現在在t2集合中有以下數據:

  { "country" : "china", "province" : "sh", "userid" : "a" }
  { "country" : "china", "province" : "sh", "userid" : "b" }
  { "country" : "china", "province" : "sh", "userid" : "a" }
  { "country" : "china", "province" : "sh", "userid" : "c" }
  { "country" : "china", "province" : "bj", "userid" : "da" }
  { "country" : "china", "province" : "bj", "userid" : "fa" }

  

  需求是統計出每個country/province下的userid的數量(同一個userid只統計一次)

  過程如下。

  首先試著這樣來統計:

  db.t2.aggregate([ { group: {"_id": { "country" : "group: {"_id": { "country" : "country", "prov": "province"} , "number":{province"} , "number":{sum:1}} } ])

  結果是錯誤的:

  技術分享圖片

  原因是,這樣來統計不能區分userid相同的情況 (上面的數據中sh有兩個 userid = a)

  為了解決這個問題,首先執行一個group,其id 是 country, province, userid三個field:

  db.t2.aggregate([ { group: {"_id": { "country" : "group: {"_id": { "country" : "country", "province": "province","uid":"province","uid":"userid" } } } ])

  技術分享圖片

  

  可以看出,這步的目的是把相同的userid只剩下一個。

  然後第二步,再第一步的結果之上再執行統計:

  db.t2.aggregate([
  { group: {"_id": { "country" : "group: {"_id": { "country" : "country", "province": "province","uid":"province","uid":"userid" } } } ,
  { group: {"_id": { "country" : "group: {"_id": { "country" : "_id.country", "province": "_id.province" }, count : {_id.province" }, count : {sum : 1 } } }
  ])

  這回就對了

  技術分享圖片

  加入一個$project操作符,把_id去掉

  db.t2.aggregate([ { group: {"_id": { "country" : "group: {"_id": { "country" : "country", "province": "province","uid":"province","uid":"userid" } } } ,
  { group: {"_id": { "country" : "group: {"_id": { "country" : "_id.country", "province": "_id.province" }, count: {_id.province" }, count: {sum : 1 } } },
  { project : {"_id": 0, "country" : "project : {"_id": 0, "country" : "_id.country", "province" : "$_id.province", "count" : 1}}
  ])

  最終結果如下:

  技術分享圖片

管道的概念

管道在Unix和Linux中一般用於將當前命令的輸出結果作為下一個命令的參數。

MongoDB的聚合管道將MongoDB文檔在一個管道處理完畢後將結果傳遞給下一個管道處理。管道操作是可以重復的。

表達式:處理輸入文檔並輸出。表達式是無狀態的,只能用於計算當前聚合管道的文檔,不能處理其它的文檔。

這裏我們介紹一下聚合框架中常用的幾個操作:

  • $project:修改輸入文檔的結構。可以用來重命名、增加或刪除域,也可以用於創建計算結果以及嵌套文檔。
  • matchmatch:用於過濾數據,只輸出符合條件的文檔。match使用MongoDB的標準查詢操作。
  • $limit:用來限制MongoDB聚合管道返回的文檔數。
  • $skip:在聚合管道中跳過指定數量的文檔,並返回余下的文檔。
  • $unwind:將文檔中的某一個數組類型字段拆分成多條,每條包含數組中的一個值。
  • $group:將集合中的文檔分組,可用於統計結果。
  • $sort:將輸入文檔排序後輸出。
  • $geoNear:輸出接近某一地理位置的有序文檔。

1、$project實例

   db.mycol.aggregate({$project:{name : 1, score : 1}})

  技術分享圖片

  這樣的話結果中就只還有_id,name和score三個字段了,默認情況下_id字段是被包含的,如果要想不包含_id話可以這樣:

  db.mycol.aggregate({$project:{_id : 0, name : 1, score : 1}})

  技術分享圖片

2、$match實例

  match30100match用於獲取分數大於30小於並且小於100的記錄,然後將符合條件的記錄送到下一階段group管道操作符進行處理

  db.mycol.aggregate([{match :{score: {match :{score: {gt: 30, lt: 100}}},{lt: 100}}},{group:{_id:‘sex‘,count:{sex‘,count:{sum:1}}}]) 

  技術分享圖片

mongodb MongoDB 聚合 group(轉)