1. 程式人生 > >logstash增量同步mysql資料到elasticsearch

logstash增量同步mysql資料到elasticsearch

1.下載和es相同版本的logstash我的es版本為5.4.0 所以下載logstash版本也是5.4.02.解壓logstash3.在config資料夾下建立test.conf配置檔案input { stdin { } jdbc { type => "xxx" jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/xxx" jdbc_user => "root" jdbc_password => "xxxx" record_last_run => true use_column_value => true tracking_column => "id" last_run_metadata_path => "/etc/logstash/run_metadata.d/my_info" clean_run => "false" jdbc_driver_library => "/app/es/elasticsearch-5.4.0/lib/mysql-connector-java-5.1.38.jar" jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_paging_enabled => true jdbc_page_size => "500" statement => "select * from xxx where id > :sql_last_value
" schedule => "* * * * *" }}注意標紅色的部分:這些配置是為了達到增量同步的目的,每次同步結束之後會記錄最後一條資料的tracking_column列,比如我們這設定的是id,就會將這個值記錄在last_run_metadata_path中。下次在執行同步的時候會將這個值,賦給sql_last_value4.啟動logstash./logstash -f ../config/test.conf