ELK提供了一系列采集方案。但對於從app端過來的日誌，沒有接收模塊。一種方案可以用logstash打開socket端口接收，需要客戶端配合。這裏提供通過http的方案。接收服務器采用springboot實現收集，發送日誌到kafka。也可以直接寫文件，用fileBeat讀取發送到kafka。從kafka傳送到elasticsearch用了大數據計算平臺Beam實現。Beam編出的jar可以部署到spark，flink等。進入elasticsearch的數據可以做報警處理。用開源的elastAlert。可以將報警信息發往其他地方，可以用webhook，把報警信息post到服務器上，發送到如企業微信等。

git源碼：

采集服務：https://github.com/bigben0123/dataPlatformCollector

beam服務：https://github.com/bigben0123/

大數據日誌采集系統