logstash實現日誌檔案同步到elasticsearch深入詳解
引言:
之前博文介紹過了mysql/oracle與ES之間的同步機制。而logstash最初始的日誌同步功能還沒有介紹。本文就logstash同步日誌到ES做下詳細解讀。
1、目的:
將本地磁碟儲存的日誌檔案同步(全量同步、實時增量同步)到ES中。
2、原始檔:
[[email protected] test_log]# ll
-rwxrwxrwx 1 root root 170 Jul 5 08:02 logmachine.sh
-rw-r--r-- 1 root root 66 Jul 5 08:25 MProbe01.log
-rw-r--r-- 1 root root 74 Jul 5 08:28 MProbe02.log
3、增量實時同步指令碼:
[[email protected] test_log]# cat logmachine.sh
#!/bin/bash
icnt=0;
while (true)
do
echo "[debug][20160703-15:00]"$icnt >> MProbe01.log
echo "[ERROR][20160704-17:00]"$icnt >> MProbe02.log
icnt=$((icnt+1));
done
4、logstash配置檔案:
[[email protected] 5b9dbaaa148a logstash_jdbc_test]# cat log_test.conf
input {
file {
path=> [ "/usr/local/logstash/bin/test_log/MProbe01.log",
"/usr/local/logstash/bin/test_log/MProbe02.log" ]
#codec=>multiline {
# pattern => "^\s"
# what=>"previous"
#}
type=>"probe_log" #型別名稱
# tags=>["XX.XX.XX.XX" ]
}
}
###過濾
#filter{
# grok {
# match => ["message","mailmonitor"]
# add_tag => [mailmonitor]
# }
# grok {
# match => [ "message", "smsmonitor" ]
# add_tag => [smsmonitor]
# }
# ....
#}
###output to es
output {
elasticsearch {
hosts => "10.8.5.101:9200"
index => "mprobe_index" #索引名稱
#template_name => "mprobelog"
#document_id => "%{id}"
}
stdout { codec => json_lines }
}
5、同步測試:
[root@5b9dbaaa148a bin]# ./logstash -f ./logstash_jdbc_test/log_test.conf
Settings: Default pipeline workers: 24
Pipeline main started
{"message":"[DEbug][20160305-15:35]testing02","@version":"1","@timestamp":"2016-07-05T07:26:08.043Z","path":"/usr/local/logstash/bin/test_log/MProbe01.log","host":"5b9dbaaa148a"
6、結果驗證
(1)日誌記錄:
[[email protected] test_log]# tail -f MProbe01.log
[DEbug][20160305-15:35]testing02
[DEbug][20160305-15:35]testing01
^C
[[email protected] test_log]# tail -f MProbe02.log
[DEbug][20160305-15:35]testing02_001
[DEbug][20160305-15:35]testing02_003
(2)ES記錄
——————————————————————————————————
更多ES相關實戰乾貨經驗分享,請掃描下方【銘毅天下】微信公眾號二維碼關注。
(每週至少更新一篇!)
和你一起,死磕Elasticsearch!
——————————————————————————————————
2016年7月6日 22:11 思於家中床前
相關推薦
logstash實現日誌檔案同步到elasticsearch深入詳解
引言: 之前博文介紹過了mysql/oracle與ES之間的同步機制。而logstash最初始的日誌同步功能還沒有介紹。本文就logstash同步日誌到ES做下詳細解讀。 1、目的: 將本地磁碟儲存的日誌檔案同步(全量同步、實時增量同步)到ES中。
kafka資料同步Elasticsearch深入詳解
1、kafka同步到Elasticsearch方式? 目前已知常用的方式有四種: 1)logstash_input_kafka外掛; 缺點:不穩定(ES中文社群討論) 2)spark stream同步; 缺點:太龐大 3)kafka connecto
elasticsearch-jdbc實現MySQL同步到ElasticSearch深入詳解
1.如何實現mysql與elasticsearch的資料同步?逐條轉換為json顯然不合適,需要藉助第三方工具或者自己實現。核心功能點:同步增、刪、改、查同步。2、mysql與elasticsearch同步的方法有哪些?優缺點對比?目前該領域比較牛的外掛有:1-3同步
Elasticsearch深入詳解-知識圖譜(每週更新)
1、題記 Elasticsearch技術已經燃爆到飛的感覺。 為了方便訂閱Elasticsearch深入詳解的博友們第一時間獲取最新經驗分享,和大家一起成長,特將本專欄內容製作為Elasticsearch深入詳解知識圖譜。 並承諾【銘毅天下】微信公眾號每
Windows下cwRsync搭建步驟(檔案同步教程圖文詳解)
CwRsync是基於cygwin平臺的rsync軟體包,支援windows對windows、windows對Linux、Linux對windows高效檔案同步。由於CwRsync已經集成了cygwin類庫,因此安裝的時候可以省去cygwin包。Cwrsync還集成了Open
logstash-input-jdbc實現mysql 與elasticsearch實時同步深入詳解
引言: elasticsearch 的出現使得我們的儲存、檢索資料更快捷、方便。但很多情況下,我們的需求是:現在的資料儲存在mysql、oracle等關係型傳統資料庫中,如何儘量不改變原有資料庫表結構,將這些資料的insert,update,delete操作結果實時同步到elasticsearch(
go-mysql-elasticsearch實現mysql 與elasticsearch實時同步深入詳解
引言: go-mysql-elasticsearch 是國內作者開發的一款外掛。測試表明:該外掛優點:能實現同步增、刪、改、查操作。不足之處(待完善的地方): 1、仍處理開發、相對不穩定階段; 2、沒有日誌,不便於排查問題及檢視同步結果。 本文深入詳解了
mongo-connector實現MongoDB與elasticsearch實時同步深入詳解
引言: 驗證表明:mongo-connector工具支援MongoDB與ES之間的實時增insert、刪delete、改update操作。 對於歷史資料,mongo-connector工具不能同步到ES中,根因是本身工具不支援(初步界定),還是沒有這種場景,
rsync+inotify-toos實現檔案實時同步和引數詳解
文章摘自:http://lxw66.blog.51cto.com/5547576/1331048 文章摘自:http://www.cnblogs.com/smail-bao/p/5667287.html rsync 幫助文件:http://man.linuxde.ne
Elasticsearch全文檢索系統實現深入詳解
題記 學習ES的童鞋,都有一個開發一個類似百度的搜尋引擎的想法。當然功能不一定是百度、360、谷歌傳統的搜尋引擎那麼強大。 但是,能實現基本的全文檢索、指定型別的檢索、評分高低優先順序排序等等。 那麼問題來了,該如何實現?需要什麼技術呢? 1、Ela
31.Elasticsearch批量匯入本地Json檔案Java實現(ES檔案同步)
題記產品開發需要,我們需要將網際網路採集的資料儲存到ES中,以實現資料的全文檢索。網際網路採集的資料,往往格式雜亂,需要先進行資料清洗操作。而ES支援的入庫格式,json格式資料會相對方便些。本文主要介紹,如何將格式化的Json檔案批量插入到ES中。1、需提前做的工作1)設計
Elasticsearch增、刪、改、查操作深入詳解
理解 依據 host aml pri lin mysql 數據信息 src 引言: 對於剛接觸ES的童鞋,經常搞不明白ES的各個概念的含義。尤其對“索引”二字更是與關系型數據庫混淆的不行。本文通過對比關系型數據庫,將ES中常見的增、刪、改、查操作進行圖文呈現。能加深你對ES
轉 Elasticsearch的使用場景深入詳解(Elasticsearch實戰篇)
瞭解了ES的使用場景,ES的研究、使用、推廣才更有價值和意義。 1、場景—:使用Elasticsearch作為主要的後端 傳統專案中,搜尋引擎是部署在成熟的資料儲存的頂部,以提供快速且相關的搜尋能力。這是因為早期的搜尋引擎不能提供耐
ElasticSearch叢集狀態檢視命令大全 && 刨根問底 | Elasticsearch 5.X叢集多節點角色配置深入詳解
https://blog.csdn.net/pilihaotian/article/details/52460747 Elasticsearch中資訊很多,同時ES也有很多資訊檢視命令,可以幫助開發者快速查詢Elasticsearch的相關資訊。 _cat $ cu
配置檔案elasticsearch.yml詳解
在es根目錄下的config目錄中有elasticsearch.yml配置檔案,es載入使用的yml格式配置 17行:cluster.name: 自定義叢集名稱(強烈推薦預設名稱elasticsearch) 解釋:es的執行都是以叢集形式啟動的,預設情況也會有叢集名稱 elasticsearch
Elasticsearch增 刪 改 查操作深入詳解
引言: 對於剛接觸ES的童鞋,經常搞不明白ES的各個概念的含義。尤其對“索引”二字更是與關係型資料庫混淆的不行。本文通過對比關係型資料庫,將ES中常見的增、刪、改、查操作進行圖文呈現。能加深你對ES的理解。同時,也列舉了kibana下的圖形化展示。 ES Restful API GET、POST
Elasticsearch Java API深入詳解
0、題記 之前Elasticsearch的應用比較多,但大多集中在關係型、非關係型資料庫與Elasticsearch之間的同步。以上內容完成了Elasticsearch所需要的基礎資料量的供給。但想要在海量的資料中找到和自己相關的業務資料,實現對已有的資料實現全文檢索、分類統計等功能並應用到業務系統
乾貨 | Elasticsearch Nested型別深入詳解
0、概要 在Elasticsearch實戰場景中,我們或多或少會遇到巢狀文件的組合形式,反映在ES中稱為父子文件。 父子文件的實現,至少包含以下兩種方式: 1)父子文件 父子文件在5.X版本中通過parent-child父子type實現,即:1個索引對應多個t
elasticsearch 索引儲存深入詳解(Elasticsearch教程03)|MVP講堂
作者:阿里雲MVP 銘毅 往期內容:死磕 Elasticsearch 方法論:普通程式設計師高效精進的 10 大狠招!Elasticsearch學習,請先看這一篇!(Elasticsearch教程01)Elasticsearch增、刪、改、查操作深入詳解(Elasticsearch教程02) 1、關於ES
Elasticsearch增、刪、改、查操作深入詳解(Elasticsearch教程02)|MVP講堂
作者:阿里雲MVP 銘毅 往期內容:死磕 Elasticsearch 方法論:普通程式設計師高效精進的 10 大狠招!Elasticsearch學習,請先看這一篇!(Elasticsearch教程01) 引言:對於剛接觸ES的童鞋,經常搞不明白ES的各個概念的含義。尤其對“索引”二字更是與關係型資料庫混淆