系列目錄

一、背景

為了更好的對埋點資料進行視覺化分析，專案組決定開發一套自己的監控系統

二、技術選擇

1. Kafka or mq?

Kafka是LinkedIn開源的分散式釋出-訂閱訊息系統，目前歸屬於Apache定級專案。Kafka主要特點是基於Pull的模式來處理訊息消費，追求高吞吐量，一開始的目的就是用於日誌收集和傳輸。0.8版本開始支援複製，不支援事務，對訊息的重複、丟失、錯誤沒有嚴格要求，適合產生大量資料的網際網路服務的資料收集業務。

RabbitMQ是使用Erlang語言開發的開源訊息佇列系統，基於AMQP協議來實現。AMQP的主要特徵是面向訊息、佇列、路由（包括點對點和釋出/訂閱）、可靠性、安全。AMQP協議更多用在企業系統內，對資料一致性、穩定性和可靠性要求很高的場景，對效能和吞吐量的要求還在其次。

各自的優劣勢很明顯，其中Kafka的吞吐量遠遠大於RabbitMQ，但是沒有事務。
由於線上埋點資料量很大，並且我們對於監控資料的精確性沒有非常嚴格的要求，所以毫無疑問，Kafka是該專案的首選。（另外大資料方提供的埋點資料就是儲存在Kafka的，我們還能用其他的嗎 哈哈 ）

2. Mysql or Elasticsearch？
   分析一下我們的業務場景：
   - 對於埋點資料來說，有太多太多的格式，並且隨時可能水平擴充套件。不適合關係型資料庫
   - 無事務要求
   - 海量資料，並且需要對多欄位模糊查詢

很明顯，這種場景下用mysql簡直是自尋死路，elasticsearch可以當做nosql使用，並且如果有特定的查詢需求還可以使用es的分詞外掛。

3. Kibana or Grafana？

Kibana 是一款開源的資料分析和視覺化平臺，它是 Elastic Stack 成員之一，設計用於和 Elasticsearch 協作。您可以使用 Kibana 對 Elasticsearch 索引中的資料進行搜尋、檢視、互動操作。您可以很方便的利用圖表、表格及地圖對資料進行多元化的分析和呈現。

Grafana allows you to query, visualize, alert on and understand your metrics no matter where they are stored. Create, explore, and share dashboards with your team and foster a data driven culture.

其中Kibana 是和Es配套的（ELK），由於專案組採用的都是Grafana，所以這裡我並沒有對比兩者優劣。不過對於喜歡科技風格的我來說，Grafana還是大愛啊！

三、架構圖

技術框架選擇好後就是搭建專案了，java專案由spring-kafka監聽（多執行緒），spring-es寫入，中間穿插spring定時任務（建立索引、刪除索引），具體見下圖：

四、結語