1. 程式人生 > >elasticsearch -6.4.1 kibana-6.4.1 logstash-6.5.4同步mysql windows環境

elasticsearch -6.4.1 kibana-6.4.1 logstash-6.5.4同步mysql windows環境

1.下載elasticsearch-6.4.1
選擇windows 環境下的包,然後減壓放到d盤,建議檔案建名稱使用用英語。
在這裡插入圖片描述
2.修改config\elasticsearch.yml檔案
把前景的#去掉
設定叢集名字:cluster.name: cluster-name
設定IP: network.host: 127.0.0.1
設定埠: http.port: 9200
3.啟動elasticsearch,選擇\bin/elasticsearch.bat雙擊
在這裡插入圖片描述
出現這個表示啟動成功。
然後在瀏覽器中輸入你配置的地址,出現下面表示elasticsearch您已經安裝成功了。
在這裡插入圖片描述
4安裝kibana-6.4.1


選擇windows的版本在這裡插入圖片描述
下載後放到es同級目錄,其實放的目錄沒關係。
5.配置kibana的配置檔案\config\kibana.yml
配置kibana的訪問地址,配置關聯的es的地址,預設情況下把#去掉就可以
server.host: “localhost”
elasticsearch.url: “http://localhost:9200
6.啟動kibana,\bin\kibana.bat雙擊kibana.bat,出現如下介面表示安裝成功。

在這裡插入圖片描述
7.在瀏覽器輸入:http://localhost:5601/出現如下介面表示安裝成功
在這裡插入圖片描述
8.使用logstash-6.5.4同步mysql 資料
下載[logstash-6.5.4](https://www.elastic.co/downloads/logstash)

解壓和es放到一個目錄,放到哪個目錄沒有關係。
在這裡插入圖片描述
9.下載mysql8的驅動,放入到bin目錄下,下載地址https://pan.baidu.com/s/1bUkAEQNvZwv5ubSYc9O6mw
10.配置mysql同步檔案,新建mysqltoes.conf(名字沒關係)

input {
 stdin { }
    jdbc {
    #填寫你的mysql連結串8以後驅動必須這樣寫,不然後出錯,這個問題我搞了好幾天才解決
        jdbc_connection_string => "jdbc:mysql://localhost:3306/springboot?characterEncoding=utf8&useSSL=false&serverTimezone=UTC&rewriteBatchedStatements=true"
        #連結資料庫使用者名稱稱
        jdbc_user => "root"
        #連結資料庫的密碼
        jdbc_password => "root"
        #指定驅動的位置
        jdbc_driver_library => "D:/1-search/logstash-6.5.4/bin/mysql-connector-java-8.0.12.jar"
        #最新的mysql驅動寫法,寫以前的驅動會報錯
        jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        #同步的表,這裡也可以只想一個寫了sql的檔案
        statement => "SELECT codeid,parentid,cityName FROM tb_da_area"
        #表示每分鐘都同步資料
        schedule => "* * * * *"
    }
 }
 filter {
  date {
    # 有多個項的話能匹配多個不同的格式
    match => [ "logdate", "MMM dd yyyy HH:mm:ss","ISO8601" ]
    target => "fieldName1"
    timezone => "Asia/Shanghai"
  }
}

 output {
     stdout {
        codec => json_lines
    }
    elasticsearch {
    #資料到es
        hosts => "localhost:9200"
        #指定索引,名字任意
        index => "myindex"
        #指定型別,任意
        document_type => "doc"
        document_id => "%{id}"
    }
}

11.進入 logstashbin目錄執行 logstash -f mysqltoes.conf 看到如下資訊表述資料同步成功,下面截圖的資料需要根據您同步的資料覺定。
在這裡插入圖片描述
12.在kibana查詢資料是否已經同步
選中dev tools 執行 GET /_cat/indices?v 命令
看到如下介面:myindex是在logstash中配置,表示資料同步成功在這裡插入圖片描述