1. 程式人生 > >使用mongodb處理上億級別資料

使用mongodb處理上億級別資料

最近接到一個任務關於效能監控平臺的開發,該效能平臺要求監控日誌的傳送量以及成功率等資訊,瞭解到需求,由於每天將會有平均200萬的日誌資訊,最大接近400萬,這資料還是十分龐大的,哪麼半年下來起碼有6億以上的資料,這時候使用關係型資料庫已經滿足不了需求,畢竟關係型資料庫不能處理這麼大的資料量,我們決定採用mongodb非關係型資料庫,該資料庫有良好的資料處理能力,在開發的途中,遇到過排序空間不足引用索引來解決的問題,以及使用aggregation聚合函式來進行分析資料,能夠大大減少資料的分析時間,滿足系統的需求。