1. 程式人生 > >用logstash將mysql資料同步到 elasticsearch

用logstash將mysql資料同步到 elasticsearch

最近需要同步mysql資料到ES,參考了

這篇文章,遇到幾個問題

第一個是jdbc驅動路徑

jdbc_driver_library => "../mysql-connector-java-5.1.46/mysql-connector-java-5.1.46-bin.jar"

這裡用了相對路徑,起始路徑是logstash的安裝目錄,mysql-connector-java-5.1.46這個目錄應該和logstash目錄同級。

第二個問題是last_run_metadata_path同步點檔案在同步多表時需要為不同的表指定

不同的檔案,否則會發生衝突,造成有的表不能匯入。

第三個問題是如果mysql的表裡正好有名為“type”的欄位,而logstash的配置檔案又正好沒配置

document_type欄位,那麼在匯入的時候會根據type欄位分到ES不同的型別下(困惑了好一下),

指定document_type就不會了。