我們看到了高效批量插入mongodb速度還不錯，那麼我們的系統日誌收集怎麼做呢。

當然當前檔案日誌收集效果也不錯，比如前面博文寫的elkf搭建日誌收集系統。

但我們系統中總是有不少重要的報文需要收集，比如訂單資訊，比如指定的客戶資訊。

思路：

1、在每個需要收集的服務上組建好要收集的日誌資訊。

2、通過mq傳送出去。這個mq傳送郵一定的耗時，所有mq傳送時，採用執行緒池方式。

3、日誌收集系統，訂閱這個mq的佇列，接收到訊息後，儲存到redis中。 

4、通過xxljob沒秒鐘到redis中全部撈出要儲存的日誌資訊，根據其中的分類區分儲存到不同的mongodb集合中。

這裡涉及幾個點：

1、mq如何傳送。

2、mq如何接收。

3、執行緒池如何使用。

4、redis寫入。

5、redis如何獲取資料。

7、xxljob如何使用。

8、mongodb如何批量寫入。

9、如何讓這個服務通用起來。