【原】無腦操作：ElasticSearch學習筆記（01）
開篇來自於經典的“保安的哲學三問”（你是誰，在哪兒，要幹嘛）
問題一、ElasticSearch是什麽？有什麽用處？
答：截至2018年12月28日，從ElasticSearch官網（https://www.elastic.co/cn/products）上，得知：ElasticSearch是基於 JSON 的分布式搜索和分析引擎，專為實現水平擴展、高可靠性和管理便捷性而設計。用於搜索、分析和存儲您的數據。
問題二、ElasticSearch的由來？
答：大約在2010年，一個叫Shay Banon的待業工程師跟隨他的新婚妻子來到倫敦，他的妻子想在倫敦學習做一名廚師。而他在倫敦尋找工作的期間，接觸到了Lucene的早期版本，他想為自己的妻子開發一個方便搜索菜譜的應用。直接使用Lucene構建搜索會有很多的坑以及重復性的工作，所以Shay便在Lucene的基礎上不斷進行抽象來讓Java程序嵌入搜索變得更容易一些，經過一段時間的打磨，就誕生了他的第一個開源作品，他給自己的這個作品起了個名字，叫 “Compass”，中文即“指南針”的意思。之後，Shay找到了一份新工作，新工作是處在一個高性能分布式的開發環境中。他在工作中漸漸發現，越來越需要一個易用的高性能、實時、分布式搜索服務，於是他決定重寫Compass，將它從一個庫打造成了一個獨立的server，並將其改名為Elasticsearch。Elasticsearch發布的第一個版本是在2010年的二月份，從那之後，Elasticsearch便成了Github上最受人矚目的項目之一，並且很快就有超過300名開發者加入進來貢獻了自己的代碼。後來Shay和另一位合夥人成立了公司專註打造Elasticsearch，他們對Elasticsearch進行了一些商業化的包裝和支持。但是，Elasticsearch承諾，永遠都將是開源並且免費的。不過悲劇的是，Shay承諾為妻子開發的菜譜搜索應用，到現在還沒做出來……（劃重點：ElasticSearch基於Lucene）
問題三、ElasticSearch有什麽功能？有什麽優勢？
答：截至2018年12月28日，從ElasticSearch官網（https://www.elastic.co/cn/products/elasticsearch）上，得知：Elasticsearch 是一個分布式、Restful風格的搜索和數據分析引擎，能夠解決不斷湧現出的各種用例。作為 Elastic Stack 的核心，它集中存儲您的數據，幫助您發現意料之中以及意料之外的情況。具備存儲、查詢和分析功能。具備速度、可擴展性、彈性、靈活性、操作友好、客戶端庫豐富等優勢，是開源的、分布式、基於 Restful API、支持 PB 甚至更高數量級的搜索引擎工具。
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
1、ElasticSearch的安裝及結構
ElasticSearch支持Windows安裝，直接到官網的下載頁面（https://www.elastic.co/cn/downloads/elasticsearch）下載即可。
註意，如果使用ELK全家桶，官方建議ElasticSearch、Logstash、Kibana三個產品選擇同一版本號。截至2018年12月28日，ElasticSearch的最新版本是6.5.4。本篇筆記使用的是6.5.0。下載後放在D:\ELK目錄下。
bin：elasticsearch的啟動腳本等
config：配置文件目錄
data：當前節點的分片數據
lib：運行依賴的jar包
logs：日誌文件目錄
modules：模塊庫
plugins：插件目錄
2、ElasticSearch的運行
Windows版本的Elasticsearch運行還是很簡單的，直接在bin目錄下，找到elasticsearch.bat這個批處理文件，雙擊運行就可以了。當然也可以通過命令行窗口進入到該目錄下，輸入elasticsearch回車進行執行。
出現如下信息說明Elasticsearch已經啟動起來了，並且運行在本機的9200端口上。
在瀏覽器的地址欄中輸入：localhost:9200，如果能看到如下信息，說明啟動成功
{
"name" : "HanF71F",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "kYp2rOofTwWN1-kj7Qjw_A",
"version" : {
"number" : "6.5.0",
"build_flavor" : "default",
"build_type" : "zip",
"build_hash" : "816e6f6",
"build_date" : "2018-11-09T18:58:36.352602Z",
"build_snapshot" : false,
"lucene_version" : "7.5.0",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}
cluster_name: ElasticSearch配置的集群名稱，默認是elasticsearch，es服務會通過廣播方式自動連接在同一網段下的es服務，通過多播方式進行通信，同一網段下可以有多個集群，通過集群名稱這個屬性來區分不同的集群。
cluster_uuid：ElasticSearch配置的集群唯一編號
build_flavor：編譯特點
lucene_version：ElasticSearch基於lucene的，lucene的版本號
3、ElasticSearch的工具
① 結合Chrome瀏覽器的ElasticSearchHead插件使用
下載名為chromeFOR.COM_elasticsearch-head_v0.1.3.crx的Chrome插件，安裝後，在Chrome瀏覽器的右上角點擊Elastic Search Head這個圖標即可使用
② 結合Kibana工具使用
個人覺得Kibana是和ElasticSearch結合是很好的，畢竟都是一家的產品。Windows下的Kibana使用也很簡單，直接下載同ElasticSearch一樣版本的Kibana（https://www.elastic.co/downloads/kibana）
直接在bin目錄下，找到kibana.bat這個批處理文件，雙擊運行就可以了。當然也可以通過命令行窗口進入到該目錄下，輸入kibana回車進行執行。
出現如下信息說明Kibana已經啟動起來了，並且運行在本機的5601端口上。
在瀏覽器的地址欄中輸入：localhost:5601，如果能看到如下信息，說明Kibana啟動成功。
4、 ElasticSearch的基本術語
將ElasticSearch和關系型數據庫做一個類比
| 關系型數據庫 | ⇒ | 數據庫(Database) | ⇒ | 表(Table) | ⇒ | 行(Rows) | ⇒ | 列(Columns) |
| ElasticSearch | ⇒ | 索引(Index) | ⇒ | 類型(Type) | ⇒ | 文檔(Docments) | ⇒ | 字段(Fields) |
一個ElasticSearch集群可以包含多個索引(數據庫)，一個索引中可以包含多個類型(表)，一個類型中可以包含多個文檔(行)，一個文檔中可以包含多個字段(列)。
Elasticsearch可以理解為是面向文檔型數據庫。數據用JSON作為文檔序列化的格式。
① Near Realtime（NRT）：近實時的意思，表示從寫入數據到數據可以被搜索有一個小延遲（大概1秒）；基於es執行搜索和分析可以達到秒級。
② Cluster：集群，包含多個節點，每個節點屬於哪個集群是通過配置（集群名稱，默認是elasticsearch）來決定的，對於中小型應用來說，開始階段常常一個集群對應一個節點。
③ Node：節點，集群中的一個節點，節點也有一個名稱（默認是隨機分配的），在執行運維管理操作時節點名稱很重要，默認節點會加入一個名稱為“elasticsearch”的集群，如果直接啟動一堆節點，那麽它們會自動組成一個elasticsearch集群，當然一個節點也可以組成一個elasticsearch集群。
④ Document&field：文檔，es中的最小數據單元，一個document可以是一條客戶數據，一條商品分類數據，一條訂單數據，通常用JSON數據結構表示，每個index下的type中，都可以去存儲多個document。一個document裏面有多個field，每個field就是一個數據字段。
⑤ Index：索引，包含一堆有相似結構的文檔數據，比如可以有一個客戶索引，商品分類索引，訂單索引，索引有一個名稱。一個index包含很多document，一個index就代表了一類類似的或者相同的document。比如說建立一個product index，商品索引，裏面可能就存放了所有的商品數據，所有的商品document。
⑥ Type：類型，每個索引裏都可以有一個或多個type，type是index中的一個邏輯數據分類，一個type下的document，都有相同的field，比如博客系統，有一個索引，可以定義用戶數據type，博客數據type，評論數據type。
⑦ Shard：單臺機器無法存儲大量數據，es可以將一個索引中的數據切分為多個shard，分布在多臺服務器上存儲。有了shard就可以橫向擴展，存儲更多數據，讓搜索和分析等操作分布到多臺服務器上去執行，提升吞吐量和性能。每個shard都是一個lucene index。
⑧ Replica：任何一個服務器隨時可能故障或宕機，此時shard可能就會丟失，因此可以為每個shard創建多個replica副本。replica可以在shard故障時提供備用服務，保證數據不丟失，多個replica還可以提升搜索操作的吞吐量和性能。primary shard（建立索引時一次設置，不能修改，默認5個），replica shard（隨時修改數量，默認1個），默認每個索引10個shard，5個primary shard，5個replica shard，最小的高可用配置，是2臺服務器。
5、ElasticSearch的基本使用（CRUD）
首先對Restful風格的動作有一個了解：GET（查詢操作），POST（新增/修改操作），PUT（修改操作），DELETE（刪除操作）
下列命令均在Kibana的DevTools中執行，DevTools中輸入關鍵字有相應的提示，很不錯。
① 檢查集群的健康狀況
GET /_cat/health?v
epoch timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1546176515 13:28:35 elasticsearch green 1 1 1 1 0 0 0 0 - 100.0%
② 查看集群中所有的索引
GET /_cat/indices?v
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
green open .kibana_1 qqZcESKyTvCWJjF7ToyUWw 1 0 1 0 5.1kb 5.1kb
③ 創建索引（可以使用ElasticSearchHead插件的圖形化創建方式，也可以手寫命令）
PUT /study_elasticsearch?pretty
#! Deprecation: the default number of shards will change from [5] to [1] in 7.0.0; if you wish to continue using the default of [5] shards,
you must manage this on the create index request or with an index template
{
"acknowledged" : true,
"shards_acknowledged" : true,
"index" : "study_elasticsearch"
}
創建後再次執行查看索引的命令，可以看到這時有兩個索引存在了。
GET /_cat/indices?v
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
green open .kibana_1 qqZcESKyTvCWJjF7ToyUWw 1 0 1 0 5.1kb 5.1kb
yellow open study_elasticsearch P1yCgFQiS1Si2Nc0IlZflA 5 1 0 0 1.1kb 1.1kb
④ 刪除索引
DELETE /study_elasticsearch?pretty
{
"acknowledged" : true
}
刪除後再次執行查看索引的命令，可以看到這時剩一個索引存在了。
GET /_cat/indices?v
health status index uuid pri rep docs.count docs.deleted store.size pri.store.size
green open .kibana_1 qqZcESKyTvCWJjF7ToyUWw 1 0 1 0 5.1kb 5.1kb
⑤ 新增文檔
PUT /study_elasticsearch/person/1
{
"name" : "zhang yang",
"age" : 21,
"job" : "boss"
}
{
"error": {
"root_cause": [
{
"type": "cluster_block_exception",
"reason": "blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"
}
],
"type": "cluster_block_exception",
"reason": "blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"
},
"status": 403
}
從錯誤信息清晰的看到是索引只讀的提示，所以考慮放開索引的只讀設置。
PUT _settings
{
"index": {
"blocks": {
"read_only_allow_delete": "false"
}
}
}
{
"acknowledged" : true
}
再次嘗試新增文檔
PUT /study_elasticsearch/person/1
{
"name" : "zhang yang",
"age" : 21,
"job" : "boss"
}
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 0,
"_primary_term" : 1
}
PUT /study_elasticsearch/person/2
{
"name" : "zhang xiong jia",
"age" : 20,
"job" : "employee"
}
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "2",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 0,
"_primary_term" : 1
}
PUT /study_elasticsearch/person/3
{
"name" : "wu qing qing",
"age" : 22,
"job" : "manager"
}
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "3",
"_version" : 1,
"result" : "created",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 0,
"_primary_term" : 1
}
註意，此時的文檔版本version為1
⑥ 查詢文檔數量
GET /study_elasticsearch/person/_count
{
"count" : 3,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
}
}
⑦ 查詢文檔（不加任何查詢條件，本篇用的都是Search Lite API的寫法）
GET /study_elasticsearch/person/_search
{
"took" : 2,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 3,
"max_score" : 1.0,
"hits" : [
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "2",
"_score" : 1.0,
"_source" : {
"name" : "zhang xiong jia",
"age" : 20,
"job" : "employee"
}
},
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_score" : 1.0,
"_source" : {
"name" : "zhang yang",
"age" : 21,
"job" : "boss"
}
},
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "3",
"_score" : 1.0,
"_source" : {
"name" : "wu qing qing",
"age" : 22,
"job" : "manager"
}
}
]
}
}
註意：對某個索引（Index）下某個類型（Type）沒加任何條件的查詢，結果默認會展示出前20條文檔（Documents）
⑧ 查詢文檔（帶查詢條件，本篇用的都是Search Lite API的寫法）
直接通過id獲取文檔：
GET /study_elasticsearch/person/1
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 1,
"found" : true,
"_source" : {
"name" : "zhang yang",
"age" : 21,
"job" : "boss"
}
}
通過查詢字段的值獲取文檔：（按age賦值22查詢，找到了吳局）
GET /study_elasticsearch/person/_search?q=age:22
{
"took" : 10,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 1,
"max_score" : 1.0,
"hits" : [
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "3",
"_score" : 1.0,
"_source" : {
"name" : "wu qing qing",
"age" : 22,
"job" : "manager"
}
}
]
}
}
通過查詢字段的值獲取文檔：（按name賦值zhang查詢，找到了名字中有zhang的大小張行長）
GET /study_elasticsearch/person/_search?q=name:zhang
{
"took" : 3,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 2,
"max_score" : 0.2876821,
"hits" : [
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "2",
"_score" : 0.2876821,
"_source" : {
"name" : "zhang xiong jia",
"age" : 20,
"job" : "employee"
}
},
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_score" : 0.2876821,
"_source" : {
"name" : "zhang yang",
"age" : 21,
"job" : "boss"
}
}
]
}
}
⑨ 更新文檔（替換）
PUT /study_elasticsearch/person/1
{
"name" : "hong zi jun",
"age" : 21,
"job" : "CEO"
}
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 2,
"result" : "updated",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 1,
"_primary_term" : 1
}
註意：此時id為1的這條文檔的版本version變成了2，文檔的內容也變成了洪行長
GET /study_elasticsearch/person/1
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 2,
"found" : true,
"_source" : {
"name" : "hong zi jun",
"age" : 21,
"job" : "CEO"
}
}
這種替換的方式做更新，需要替換的內容和原先的內容字段一致，如果不一致就會用替換內容替換掉原先的內容
PUT /study_elasticsearch/person/1
{
"name" : "ye yu",
"gender" : "female"
}
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 3,
"result" : "updated",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 2,
"_primary_term" : 1
}
再次查詢，發現person的字段和內容均發生了變化，變成葉阿姨了。顯然，這種替換方式的缺點在於全量替換了，不想替換的也被替換了。
GET /study_elasticsearch/person/1
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 3,
"found" : true,
"_source" : {
"name" : "ye yu",
"gender" : "female"
}
}
⑩ 更新文檔（更新）
先把id為1的數據替換回去
PUT /study_elasticsearch/person/1
{
"name" : "zhang yang",
"age" : 21,
"job" : "boss"
}
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 4,
"result" : "updated",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 3,
"_primary_term" : 1
}
GET /study_elasticsearch/person/1
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 4,
"found" : true,
"_source" : {
"name" : "zhang yang",
"age" : 21,
"job" : "boss"
}
}
使用POST結合_update做更新
POST /study_elasticsearch/person/1/_update
{
"doc" : {
"job" : "CTO"
}
}
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 5,
"result" : "noop",
"_shards" : {
"total" : 0,
"successful" : 0,
"failed" : 0
}
}
再查詢一下，發現id為1的文檔的job字段發生了改變，其他的字段及內容沒有變化
GET /study_elasticsearch/person/1
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 5,
"found" : true,
"_source" : {
"name" : "zhang yang",
"age" : 21,
"job" : "CTO"
}
}
? 刪除文檔
DELETE /study_elasticsearch/person/1
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"_version" : 6,
"result" : "deleted",
"_shards" : {
"total" : 2,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 5,
"_primary_term" : 1
}
再查詢一下，找不到該條文檔了
GET /study_elasticsearch/person/1
{
"_index" : "study_elasticsearch",
"_type" : "person",
"_id" : "1",
"found" : false
}
如果是想刪除所有的文檔，可以如下操作
POST /study_elasticsearch/person/_delete_by_query
{
"query": {
"match_all": {}
}
}
{
"took" : 42,
"timed_out" : false,
"total" : 2,
"deleted" : 2,
"batches" : 1,
"version_conflicts" : 0,
"noops" : 0,
"retries" : {
"bulk" : 0,
"search" : 0
},
"throttled_millis" : 0,
"requests_per_second" : -1.0,
"throttled_until_millis" : 0,
"failures" : [ ]
}
再查詢一下，發現沒有數據了
GET /study_elasticsearch/person/_search
{
"took" : 0,
"timed_out" : false,
"_shards" : {
"total" : 5,
"successful" : 5,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : 0,
"max_score" : null,
"hits" : [ ]
}
}
至此，最簡單基本的操作就講完了，是不是特別無腦啊(*^_^*)
【原】無腦操作：ElasticSearch學習筆記（01）