ELK-logstash匯入資料以及配合kibana使用

1、資料集下載

MovieLens資料集包含多個使用者對多部電影的評級資料，也包括電影元資料資訊和使用者屬性資訊。本文所用的資料為1M的資料,對應的版本是ml-latest-small.zip。點選此處下載

這個資料集經常用來做推薦系統，機器學習演算法的測試資料集。尤其在推薦系統領域，很多著名論文都是基於這個資料集的。(PS: 它是某次具有歷史意義的推薦系統競賽所用的資料集)。

2、配置檔案

 1 input {
 2   file {
 3     path =>["D:/logstash-6.0.0/movielens/ml-latest-small/movies.csv"]   #
 
csv檔案路徑
 4     start_position => "beginning"
 5     sincedb_path => "D:/logstash-6.0.0/movielens/ml-latest-small/null"  #監聽檔案讀取資訊記錄的位置:beginning表示從頭開始讀取檔案，end表示讀取最新的
 6   }
 7 }
 8 filter {                                    #filter外掛負責過濾解析input讀取的資料
 9   csv {
10     separator => ","                        #
 
拆分符
11     columns => ["id","content","genre"]     #csv檔案中的欄位，注意：要和 csv檔案中欄位順序一致
12   }
13 
14   mutate {
15     split => { "genre" => "|" }
16     remove_field => ["path", "host","@timestamp","message"]
17   }
18 
19   mutate {
20 
21     split => ["content", "("]
22     add_field => { "title" => "%{[content][0]}"}
 
23     add_field => { "year" => "%{[content][1]}"}
24   }
25 
26   mutate {
27     convert => {
28       "year" => "integer"
29     }
30     strip => ["title"]
31     remove_field => ["path", "host","@timestamp","message","content"]
32   }
33 
34 }
35 output {
36    elasticsearch {
37      hosts => "http://localhost:9200"
38      index => "movies"
39      document_id => "%{id}"
40    }
41   stdout {}
42 }

3、配合Kinaba使用

1）建立索引

2）discover-分析

參考連結：

https://www.jianshu.com/p/58b1087f12b3