高階操作

• 講解關於mongodb的高階操作，包括聚合、主從複製、分片、備份與恢復、MR
• 完成python與mongodb的互動

聚合 aggregate

• 聚合(aggregate)主要用於計算資料，類似sql中的sum()、avg()
• 語法

db.集合名稱.aggregate([{管道:{表示式}}])

管道

• 管道在Unix和Linux中一般用於將當前命令的輸出結果作為下一個命令的輸入

ps ajx | grep mongo

• 在mongodb中，管道具有同樣的作用，文件處理完畢後，通過管道進行下一次處理
• 常用管道
  • $group：將集合中的文件分組，可用於統計結果
  • $match：過濾資料，只輸出符合條件的文件
  • $project：修改輸入文件的結構，如重新命名、增加、刪除欄位、建立計算結果
  • $sort：將輸入文件排序後輸出
  • $limit：限制聚合管道返回的文件數
  • $skip：跳過指定數量的文件，並返回餘下的文件
  • $unwind：將陣列型別的欄位進行拆分

表示式

• 處理輸入文件並輸出
• 語法

表示式:'$列名'

• 常用表示式

  $group

  • $sum：計算總和，$sum:1同count表示計數
  • $avg：計算平均值
  • $min：獲取最小值
  • $max：獲取最大值
  • $push：在結果文件中插入值到一個數組中
  • $first：根據資源文件的排序獲取第一個文件資料
  • $last：根據資源文件的排序獲取最後一個文件資料

• 將集合中的文件分組，可用於統計結果

• _id表示分組的依據，使用某個欄位的格式為'$欄位'
• 例1：統計男生、女生的總人數

• db.stu.aggregate([
      {$group:
          {
              _id:'$gender',
              counter:{$sum:1}
          }
      }
  ])
  

  Group by null

• 將集合中所有文件分為一組
• 例2：求學生總人數、平均年齡

• db.stu.aggregate([
      {$group:
          {
              _id:null,
              counter:{$sum:1},
              avgAge:{$avg:'$age'}
          }
      }
  ])
   
  

  透視資料

• 例3：統計學生性別及學生姓名

• db.stu.aggregate([
      {$group:
          {
              _id:'$gender',
              name:{$push:'$name'}
          }
      }
  ])
  

• 使用$$ROOT可以將文件內容加入到結果集的陣列中，程式碼如下

• db.stu.aggregate([
      {$group:
          {
              _id:'$gender',
              name:{$push:'$$ROOT'}
          }
      }
  ])

  $match

• 用於過濾資料，只輸出符合條件的文件
• 使用MongoDB的標準查詢操作
• 例1：查詢年齡大於20的學生
• 例2：查詢年齡大於20的男生、女生人數

• db.stu.aggregate([
      {$match:{age:{$gt:20}}},
      {$group:{_id:'$gender',counter:{$sum:1}}}
  ])

  db.stu.aggregate([
      {$match:{age:{$gt:20}}}
  ])
  

 $sort

• 將輸入文件排序後輸出
• 例1：查詢學生資訊，按年齡升序

b.stu.aggregate([{$sort:{age:1}}])

• 例2：查詢男生、女生人數，按人數降序

db.stu.aggregate([
    {$group:{_id:'$gender',counter:{$sum:1}}},
    {$sort:{counter:-1}}
])

$limit

• 限制聚合管道返回的文件數
• 例1：查詢2條學生資訊

db.stu.aggregate([{$limit:2}])

$skip

• 跳過指定數量的文件，並返回餘下的文件
• 例2：查詢從第3條開始的學生資訊

db.stu.aggregate([{$skip:2}])

• 例3：統計男生、女生人數，按人數升序，取第二條資料

db.stu.aggregate([
    {$group:{_id:'$gender',counter:{$sum:1}}},
    {$sort:{counter:1}},
    {$skip:1},
    {$limit:1}
])

$unwind

將文件中的某一個數組型別欄位拆分成多條，每條包含陣列中的一個值

db.t3.aggregate([{$unwind:{path:'$sizes',preserveNullAndEmptyArrays:true}}])

db.t3.aggregate([{$unwind:'$size'}])

db.t3.insert([
{ "_id" : 1, "item" : "a", "size": [ "S", "M", "L"] },
{ "_id" : 2, "item" : "b", "size" : [ ] },
{ "_id" : 3, "item" : "c", "size": "M" },
{ "_id" : 4, "item" : "d" },
{ "_id" : 5, "item" : "e", "size" : null }
])

db.inventory.aggregate([{
    $unwind:{
        path:'$欄位名稱',
        preserveNullAndEmptyArrays:<boolean>#防止資料丟失
    }
}])

db.t2.aggregate([{$unwind:'$size'}])

語法2

db.t2.insert({_id:1,item:'t-shirt',size:['S','M','L']})

db.集合名稱.aggregate([{$unwind:'$欄位名稱'}])

語法1

• 問：如何能不丟棄呢？
• 答：使用語法2查詢
• 檢視查詢結果，發現對於空陣列、無欄位、null的文件，都被丟棄了
• 使用語法1查詢
• 構造資料
• 對某欄位值進行拆分
• 處理空陣列、非陣列、無欄位、null情況
• 查詢
• 構造資料
• 對某欄位值進行拆分
• 注意順序：先寫skip，再寫limit