elasticsearch -6.4.1 kibana-6.4.1 logstash-6.5.4同步mysql windows環境
阿新 • • 發佈:2018-12-26
1.下載elasticsearch-6.4.1
選擇windows 環境下的包,然後減壓放到d盤,建議檔案建名稱使用用英語。
2.修改config\elasticsearch.yml檔案
把前景的#去掉
設定叢集名字:cluster.name: cluster-name
設定IP: network.host: 127.0.0.1
設定埠: http.port: 9200
3.啟動elasticsearch,選擇\bin/elasticsearch.bat雙擊
出現這個表示啟動成功。
然後在瀏覽器中輸入你配置的地址,出現下面表示elasticsearch您已經安裝成功了。
4安裝kibana-6.4.1
選擇windows的版本
下載後放到es同級目錄,其實放的目錄沒關係。
5.配置kibana的配置檔案\config\kibana.yml
配置kibana的訪問地址,配置關聯的es的地址,預設情況下把#去掉就可以
server.host: “localhost”
elasticsearch.url: “http://localhost:9200”
6.啟動kibana,\bin\kibana.bat雙擊kibana.bat,出現如下介面表示安裝成功。
7.在瀏覽器輸入:http://localhost:5601/出現如下介面表示安裝成功
8.使用logstash-6.5.4同步mysql 資料
下載[logstash-6.5.4](https://www.elastic.co/downloads/logstash)
9.下載mysql8的驅動,放入到bin目錄下,下載地址https://pan.baidu.com/s/1bUkAEQNvZwv5ubSYc9O6mw
10.配置mysql同步檔案,新建mysqltoes.conf(名字沒關係)
input { stdin { } jdbc { #填寫你的mysql連結串8以後驅動必須這樣寫,不然後出錯,這個問題我搞了好幾天才解決 jdbc_connection_string => "jdbc:mysql://localhost:3306/springboot?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true" #連結資料庫使用者名稱稱 jdbc_user => "root" #連結資料庫的密碼 jdbc_password => "root" #指定驅動的位置 jdbc_driver_library => "D:/1-search/logstash-6.5.4/bin/mysql-connector-java-8.0.12.jar" #最新的mysql驅動寫法,寫以前的驅動會報錯 jdbc_driver_class => "com.mysql.cj.jdbc.Driver" jdbc_paging_enabled => "true" jdbc_page_size => "50000" #同步的表,這裡也可以只想一個寫了sql的檔案 statement => "SELECT codeid,parentid,cityName FROM tb_da_area" #表示每分鐘都同步資料 schedule => "* * * * *" } } filter { date { # 有多個項的話能匹配多個不同的格式 match => [ "logdate", "MMM dd yyyy HH:mm:ss","ISO8601" ] target => "fieldName1" timezone => "Asia/Shanghai" } } output { stdout { codec => json_lines } elasticsearch { #資料到es hosts => "localhost:9200" #指定索引,名字任意 index => "myindex" #指定型別,任意 document_type => "doc" document_id => "%{id}" } }
11.進入 logstashbin目錄執行 logstash -f mysqltoes.conf 看到如下資訊表述資料同步成功,下面截圖的資料需要根據您同步的資料覺定。
12.在kibana查詢資料是否已經同步
選中dev tools 執行 GET /_cat/indices?v 命令
看到如下介面:myindex是在logstash中配置,表示資料同步成功