Elasticsearch索引遷移的四種方式
本文主要講解Elasticsearch下實現索引遷移的幾種方式。
0、引言
將ES中的索引拷貝到其他ES中，或者將ES整體遷移，研究發現有兩個開源的工具：elaticserch-dump和 Elasticsearch-Exporter。
除此之外，logstash在索引同步、遷移方面的作用也很大。
兩工具及logstash實現遷移的介紹、安裝、使用、驗證效果等展示如下：
1、elasticsearch-dump遷移
1.1 elasticsearch-dump簡介
Tools for moving and saving indicies. 從來移動和儲存索引的工具。
https://github.com/taskrabbit/elasticsearch-dump
1.2 elasticsearch-dump安裝
1) yum install epel-release
2) yum install nodejs
3) yum install npm
4) npm install elasticdump
5) cd node_modules/elasticdump/bin 後便可以執行操作。- 1
- 2
- 3
- 4
- 5
安裝後如下所示：
[[email protected] elasticdump]# pwd
/home/tp/node_modules/elasticdump
[[email protected] - 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
1.3 elasticsearch-dump 使用
'#拷貝analyzer如分詞
elasticdump \
--input=http://production.es.com:9200/my_index \
--output=http://staging.es.com:9200/my_index \
--type=analyzer
'#拷貝對映
elasticdump \
--input=http://production.es.com:9200/my_index \
--output=http://staging.es.com:9200/my_index \
--type=mapping
'#拷貝資料
elasticdump \
--input=http://production.es.com:9200/my_index \
--output=http://staging.es.com:9200/my_index \
--type=data- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
1.4 elasticsearch-dump實戰小結
源ES版本1.6.0，目標ES版本：2.3.4，驗證發現：analyzer和mapping可以拷貝成功。
但是，data拷貝不成功。目標機器ES中不能顯示出資料。根本原因沒有排查到。
2、 Elasticsearch-Exporter遷移
2.1 Elasticsearch-Exporter簡介
https://github.com/mallocator/Elasticsearch-Exporter
A small script to export data from one Elasticsearch cluster into another. 將ES中的資料向其他匯出的簡單指令碼實現。
2.2、Elasticsearch-Exporter安裝
http://www.dahouduan.com/2014/12/25/centos-yum-install-nodejs-npm/
centos用 yum 方式安裝 nodejs 和 npm
npm install nomnom
npm install colors
npm install elasticsearch-exporter --production- 1
- 2
- 3
安裝後：
[[email protected] elasticsearch-exporter]# ll -ls
total 80
4 drwxr-xr-x 2 root root 4096 Mar 21 22:01 drivers
12 -rw-r--r-- 1 root root 11523 Sep 19 2014 exporter.js
12 -rw-r--r-- 1 root root 11324 Mar 16 2014 LICENSE
4 drwxr-xr-x 4 root root 4096 Mar 21 22:01 node_modules
12 -rw-r--r-- 1 root root 11259 Sep 19 2014 options.js
16 -rw-r--r-- 1 root root 14500 Mar 21 22:01 package.json
16 -rw-r--r-- 1 root root 12645 Sep 19 2014 README.md
4 drwxr-xr-x 2 root root 4096 Apr 25 2014 tools
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
2.3、 Elasticsearch-Exporter使用
node exporter.js -a <source hostname> -b <target hostname> -p <s port> -q <t port> -i <s index> -j <t index>- 1
即可實現跨機器索引的遷移。
更多的引數可以檢視node exporter.js –help
[[email protected] elasticsearch-exporter]# node exporter.js --help
Elasticsearch Exporter - Version 1.4.0
Usage: exporter [options]
Options:
-a <hostname>, --sourceHost <hostname> 遷移源機器地址
-b <hostname>, --targetHost <hostname> 遷移目的機器地址（如果沒有設定索引，目的地址需要有別於源地址）
-p <port>, --sourcePort <port> 源機器的ES的埠，9200（一般）
-q <port>, --targetPort <port> 目標機器的ES的埠，9200（一般）
-i <index>, --sourceIndex <index> 源ES待匯出的索引，如果該值不設定，整個的資料庫都會匯出。
-j <index>, --targetIndex <index>目標機器ES的索引，如果源索引設定，該值必須填寫。- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
2.4、 Elasticsearch-Exporter 索引遷移實戰（驗證ok）
[root@No3 elasticsearch-exporter]# node exporter.js -a 10.221.110.31-b 100.0.1.130 -p 9200 -q 9200 -i awppx -j awppx
同步最後會顯示：
Number of calls: 169
Fetched Entries: 8064 documents
Processed Entries: 8064 documents
Source DB Size: 8064 documents- 1
- 2
- 3
- 4
- 5
- 6
代表同步成功。
源ES版本1.6.0，目標ES版本：2.3.4，
驗證發現：可以使用 Elasticsearch-Exporter跨機器、跨ES版本同步索引成功。
3、logstash定向索引遷移
[root@N3 bin]# cat ./logstash_output_mongo/logstash_es22es.conf
input {
elasticsearch {
hosts => [ "100.200.10.54:9200" ]
index => "doc"
size => 1000
scroll => "5m"
docinfo => true
scan => true
}
}
filter {
json {
source => "message"
remove_field => ["message"]
}
mutate {
# rename field from 'name' to 'browser_name'
rename => { "_id" => "wid" }
}
}
output {
elasticsearch {
hosts => [ "100.20.32.45:9200" ]
document_type => "docxinfo"
index => "docx"
}
stdout {
codec => "dots"
}
}- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
4、elasticsearch-migration工具
https://github.com/medcl/elasticsearch-migration
支援多個版本間的資料遷移，使用scroll+bulk
1.版本支援1.x,2.x.5.0 (0.x未測試)
2.支援http basic auth 認證的es叢集
3.支援匯入覆蓋索引名稱（目前只支援單個索引匯入的情況下可指定）
4.支援index setting和mapping的同步（相關es大版本，2.x和5.0之間不支援）
5.支援dump到本地檔案
6.支援從dump檔案載入匯入到指定索引
討論參考：https://elasticsearch.cn/article/78
5、小結
對比發現， Elasticsearch-Exporter在索引遷移方面相對更好用。（待深入研究補充）
而logstash定向索引用於輔助解決 Elasticsearch-Exporter不同版本遷移有Bug的情形。
參考：
[1]http://blog.csdn.net/u014587343/article/details/50541494
[2]http://stackoverflow.com/questions/26547560/how-to-move-elasticsearch-data-from-one-server-to-another
——————————————————————————————————
更多ES相關實戰乾貨經驗分享，請掃描下方【銘毅天下】微信公眾號二維碼關注。
（每週至少更新一篇！）
和你一起，死磕Elasticsearch！
——————————————————————————————————
2017年3月23日 21:20 思於家中床前
2018年3月25日 14:55更新第四種方式
作者：銘毅天下
轉載請標明出處，原文地址：
http://blog.csdn.net/laoyang360/article/details/65449407
如果感覺本文對您有幫助，請點選‘頂’支援一下，您的支援是我堅持寫作最大的動力，謝謝！
再分享一下我老師大神的人工智慧教程吧。零基礎！通俗易懂！風趣幽默！希望你也加入到我們人工智慧的隊伍中來！http://www.captainbed.net