ElasticSearch學習筆記(超詳細)
文章目錄
- 初識ElasticSearch
-
- 什麼是ElasticSearch
- ElasticSearch特點
- ElasticSearch用途
- ElasticSearch底層實現
- ElasticSearch和Solr的區別
-
- Solr是什麼
- 不同場景時兩個的對比
- 總結
- ElasticSearch體系結構
- 倒排索引
- 什麼是Term Dictionary
- 什麼是Term Index
- 為什麼 Elasticsearch/Lucene 檢索可以比 MySQL快
- 什麼是ELK
- 安裝ElasticSearch
-
- 安裝ik分詞器
- 測試ik分詞器
- IK分詞器的兩種分詞模式
- ik分詞器新增自定義詞庫
- 安裝ElasticSearch-head
- 安裝Kibana
- REST風格說明
-
- 什麼是REST風格
- 基本REST命令說明
- PUT命令
-
- 建立型別
- 插入資料
- 更新資料
- POST命令
-
- 更新資料(推薦使用)
- DELETE命令
- GET命令
-
- 查詢資料(重點)
-
- 精確查詢
- 查詢字串搜尋
- 查詢所有結果
- 條件查詢
- 布林查詢
- 按排序查詢
- 分頁查詢
- 指定查詢結果的欄位
- 高亮查詢
- 拓展
初識ElasticSearch
什麼是ElasticSearch
Elasticsearch 是一個分散式的開源搜尋和分析引擎,適用於所有型別的資料,包括文字、數字、地理空間、結構化和非結構化資料。它可以幫助你用前所未有的速度去處理大規模資料。ElasticSearch是一個基於Lucene的搜尋伺服器。它提供了一個分散式多使用者能力的全文搜尋引擎,基於RESTful web介面。Elasticsearch是用Java開發的,並作為Apache許可條款下的開放原始碼釋出,是當前流行的企業級搜尋引擎。設計用於雲端計算中,能夠達到實時搜尋,穩定,可靠,快速,安裝使用方便。
ElasticSearch特點
- 可以作為一個大型分散式叢集(數百臺伺服器)技術,處理PB級資料,服務大公司;也可以執行在單機上,服務小公司
- 對使用者而言,是開箱即用的,非常簡單,作為中小型的應用,直接3分鐘部署一下ES
- Elasticsearch作為傳統資料庫的一個補充,比如全文檢索,同義詞處理,相關度排名,複雜資料分析,海量資料的近實時處理
- Elasticsearch不是什麼新技術,主要是將全文檢索、資料分析以及分散式技術,合併在了一起,才形成了獨一無二的ES;lucene(全文檢索),商用的資料分析軟體(也是有的),分散式資料庫(mycat)
ElasticSearch用途
Elasticsearch 在速度和可擴充套件性方面都表現出色,而且還能夠索引多種型別的內容,這意味著其可用於多種用例:
- 應用程式搜尋
- 網站搜尋
- 企業搜尋
- 日誌處理和分析
- 基礎設施指標和容器監測
- 應用程式效能監測
- 地理空間資料分析和視覺化
- 安全分析
- 業務分析
維基百科使用Elasticsearch提供全文搜尋並高亮關鍵字,以及輸入實時搜尋(search-asyou-type)和搜尋糾錯(did-you-mean)等搜尋建議功能。
英國衛報使用Elasticsearch結合使用者日誌和社交網路資料提供給他們的編輯以實時的反饋,以便及時瞭解公眾對新發表的文章的迴應。
Github使用Elasticsearch檢索1300億行的程式碼。
ElasticSearch底層實現
ElasticSearch是基於對 Lucene 進行封裝,將搜尋引擎的操作封裝成了RESTful API,通過http請求就可以呼叫,目的是為了隱藏Lucene的複雜性,從而讓全文搜尋變得簡單。
ElasticSearch和Solr的區別
Solr是什麼
Solr 是Apache下的一個頂級開源專案,採用Java開發,它是基於Lucene的全文搜尋伺服器。Solr提供了比Lucene更為豐富的查詢語言,同時實現了可配置、可擴充套件,並對索引、搜尋效能進行了優化。
Solr可以獨立執行,執行在Jetty、Tomcat等這些Servlet容器中,Solr 索引的實現方法很簡單,用 POST 方法向 Solr 伺服器傳送一個描述 Field 及其內容的 XML 文件,Solr根據xml文件新增、刪除、更新索引 。Solr 搜尋只需要傳送 HTTP GET 請求,然後對 Solr 返回Xml、json等格式的查詢結果進行解析,組織頁面佈局。Solr不提供構建UI的功能,Solr提供了一個管理介面,通過管理介面可以查詢Solr的配置和執行情況。
Solr是基於lucene開發企業級搜尋伺服器,實際上就是封裝了lucene。
Solr是一個獨立的企業級搜尋應用伺服器,它對外提供類似於Web-service的API介面。使用者可以通過http請求,向搜尋引擎伺服器提交一定格式的檔案,生成索引;也可以通過提出查詢請求,並得到返回結果。
不同場景時兩個的對比
總結
(1)es基本是開箱即用,非常簡單。Solr安裝略微複雜一點。
(2)Solr 利用 Zookeeper 進行分散式管理,而 Elasticsearch 自身帶有分散式協調管理功能。
(3)Solr 支援更多格式的資料,比如JSON、XML、CSV,而 Elasticsearch 僅支援json檔案格式。
(4)Solr 官方提供的功能更多,而 Elasticsearch 本身更注重於核心功能,高階功能多有第三方外掛提供,例如圖形化介面需要kibana支撐
(5)Solr 查詢快,但更新索引時慢(即插入刪除慢),用於電商等查詢多的應用;ES建立索引快(即查詢慢),即實時性查詢快,用於FaceBook、百度等搜尋。Solr 是傳統搜尋應用的有力解決方案,但 Elasticsearch 更適用於新興的實時搜尋應用。
(6)Solr比較成熟,有一個更大,更成熟的使用者、開發和貢獻者社群,而 Elasticsearch相對開發維護者較少,更新太快,學習使用成本較高。
ElasticSearch體系結構
初學者建議將 ElasticSearch當為一個數據庫進行學習。
下圖是Elasticsearch與關係型資料庫邏輯結構概念的對比:
倒排索引
倒排索引(Inverted Index)也叫反向索引,有反向索引必有正向索引。通俗地來講,正向索引是通過key找value,反向索引則是通過value找key。
正向索引:
MYSQL資料庫所用的索引就是正向索引,適合根據文件中的ID來查詢對應的內容。但是在查詢一個keyword在哪些文件裡包含的時候需對所有的文件進行掃描以確保沒有遺漏,這樣就使得檢索時間大大延長,檢索效率低下。
正向索引構建的結果如下圖:
倒排索引:
與正序索引相反。在搜尋引擎中每個檔案都對應一個檔案ID,檔案內容被表示為一系列關鍵詞的集合,記錄每個關鍵字在文件中出現的頻率和出現的位置。
按照上面的文件內容構建的倒排索引結果會如下圖:
如果我們要通過倒排索引查詢‘Male’這個關鍵詞在哪些文件中出現過,首先我們通過倒排索引可以查詢到該關鍵詞出現的文件位置是在2和3中;然後再通過正排索引查詢到文件2和3的內容並返回結果。
什麼是Term Dictionary
Elasticsearch為了能快速找到某個Term,將所有的Term排個序,二分法查詢Term,這就是Term Dictionary。
什麼是Term Index
如果Term太多,Term Dictionary也會很大,全部放在記憶體不現實,只能部分儲存到磁碟上。這是又出現了新的問題,磁碟尋道次數太多也會嚴重影響查詢效率,為了減少磁碟尋道次數來提高查詢效能,於是有了Term Index,就像字典裡的索引頁一樣,A開頭的有哪些Term,分別在哪頁,可以理解Term Index是一顆樹:
Term Index不需要存下所有的Term,而僅僅是它們的一些字首與Term Dictionary的Block之間的對映關係,再結合相關的壓縮技術,可以使Term Index快取到記憶體中。從Term Index查到對應的Term Dictionary的Block位置之後,再去磁碟上找Term,大大減少了磁碟隨機讀的次數。
為什麼 Elasticsearch/Lucene 檢索可以比 MySQL快
MySQL 只有 Term Dictionary 這一層,是以 B+Tree 排序的方式儲存在磁碟上的。檢索一個 Term 需要若干次的 Random Access 的磁碟操作。
Lucene 在 Term Dictionary 的基礎上添加了 Term Index 來加速檢索,Term Index 以樹的形式快取在記憶體中。從 Term Index 查到對應的 Term Dictionary 的 Block 位置之後,再去磁碟上找 Term,大大減少了磁碟的 Random Access 次數。
值得一提的兩點是:
Term Index 在記憶體中是以 FST(finite state transducers)的形式儲存的,其特點是非常節省記憶體。
Term Dictionary 在磁碟上是以分 Block 的方式儲存的,一個 Block 內部利用公共字首壓縮,比如都是 Ab 開頭的單詞就可以把 Ab 省去。這樣 Term Dictionary 可以比 B-Tree 更節約磁碟空間。
什麼是ELK
ELK 是elastic公司提供的一套完整的日誌收集以及展示的解決方案,分別表示:ElasticSearch , Logstash, Kibana。
ElasticSearch是個開源分散式搜尋引擎,提供蒐集、分析、儲存資料三大功能。它的特點有:分散式,零配置,自動發現,索引自動分片,索引副本機制,restful風格介面,多資料來源,自動搜尋負載等。
Logstash 主要是用來日誌的蒐集、分析、過濾日誌的工具,支援大量的資料獲取方式。一般工作方式為c/s架構,client端安裝在需要收集日誌的主機上,server端負責將收到的各節點日誌進行過濾、修改等操作在一併發往elasticsearch上去。
Kibana 也是一個開源和免費的工具,Kibana可以為 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 介面,可以幫助彙總、分析和搜尋重要資料日誌。
安裝ElasticSearch
由於官網下載較慢,下方連結為華為雲的映象。
ElasticSearch:
https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=D
選好自己的版本,下載壓縮包。
我選擇的是7.6.2的Windows版本,需要清晰知道自己下載的版本,後面下載kibana等都必須版本一致。
下載完成後解壓。
重點關注一下config資料夾中的 jvm.options
很多同學一啟動馬上閃退,就是因為這裡的記憶體設定過大,按照自己電腦配置進行設定,1g閃退就設定512M,以此類推。
接著我們開啟bin目錄中的elasticsearch.bat
出現下面圖片,在瀏覽器輸入紅框地址。
出現下方 json格式則安裝成功
安裝ik分詞器
開啟下方網址,找到和自己elasticsearch一樣版本的下載。
https://github.com/medcl/elasticsearch-analysis-ik/releases
下載完成後,將其解壓到elasticsearch資料夾中的plugins,由於ik分詞器是elasticsearch的一個外掛,elasticsearch的外掛都是放在plugins中的。
重啟elasticsearch,觀察其啟動介面的命令列是否出現下圖
出現了即安裝ik外掛成功。
測試ik分詞器
安裝成功後我們開啟Kibana可以嘗試一下ik分詞器如何使用。
IK分詞器的兩種分詞模式
IK分詞器有兩種分詞模式:ik_max_word和ik_smart模式。
-
ik_max_word
會將文字做最細粒度的拆分,比如會將“中華人民共和國人民大會堂”拆分為“中華人民共和國、中華人民、中華、華人、人民共和國、人民、共和國、大會堂、大會、會堂等詞語。 -
ik_smart
會做最粗粒度的拆分,比如會將“中華人民共和國人民大會堂”拆分為中華人民共和國、人民大會堂。
點選小三角形對該陰影區域的json的text進行分詞
ik_smart
ik_max_word
{
"tokens" : [
{
"token" : "中華人民共和國",
"start_offset" : 0,
"end_offset" : 7,
"type" : "CN_WORD",
"position" : 0
},
{
"token" : "中華人民",
"start_offset" : 0,
"end_offset" : 4,
"type" : "CN_WORD",
"position" : 1
},
{
"token" : "中華",
"start_offset" : 0,
"end_offset" : 2,
"type" : "CN_WORD",
"position" : 2
},
{
"token" : "華人",
"start_offset" : 1,
"end_offset" : 3,
"type" : "CN_WORD",
"position" : 3
},
{
"token" : "人民共和國",
"start_offset" : 2,
"end_offset" : 7,
"type" : "CN_WORD",
"position" : 4
},
{
"token" : "人民",
"start_offset" : 2,
"end_offset" : 4,
"type" : "CN_WORD",
"position" : 5
},
{
"token" : "共和國",
"start_offset" : 4,
"end_offset" : 7,
"type" : "CN_WORD",
"position" : 6
},
{
"token" : "共和",
"start_offset" : 4,
"end_offset" : 6,
"type" : "CN_WORD",
"position" : 7
},
{
"token" : "國人",
"start_offset" : 6,
"end_offset" : 8,
"type" : "CN_WORD",
"position" : 8
},
{
"token" : "人民大會堂",
"start_offset" : 7,
"end_offset" : 12,
"type" : "CN_WORD",
"position" : 9
},
{
"token" : "人民大會",
"start_offset" : 7,
"end_offset" : 11,
"type" : "CN_WORD",
"position" : 10
},
{
"token" : "人民",
"start_offset" : 7,
"end_offset" : 9,
"type" : "CN_WORD",
"position" : 11
},
{
"token" : "大會堂",
"start_offset" : 9,
"end_offset" : 12,
"type" : "CN_WORD",
"position" : 12
},
{
"token" : "大會",
"start_offset" : 9,
"end_offset" : 11,
"type" : "CN_WORD",
"position" : 13
},
{
"token" : "會堂",
"start_offset" : 10,
"end_offset" : 12,
"type" : "CN_WORD",
"position" : 14
}
]
}
ik分詞器新增自定義詞庫
當有一些自造詞需要ik分詞器進行分詞時,可以開啟在ik分詞器的解壓資料夾中的config
新建一個文件將自造詞放進去即可,記得要把文件字尾改為dic,編碼為UTF-8
儲存後,開啟IKAnalyzer.cfg.xml
將自己詞典的檔名填寫進去,儲存,新增成功,重啟es。
安裝ElasticSearch-head
elasticsearch-head將是一款專門針對於elasticsearch的客戶端工具,包括資料視覺化,增刪改查工具,es語句的視覺化等等。
下載地址:
https://github.com/mobz/elasticsearch-head
和elasticsearch安裝一樣,將解壓包解壓,進入elasticsearch-head的資料夾
進入解壓路徑的命令列
執行 npm install
執行 npm run start
在瀏覽器訪問http://localhost:9100,可看到如下介面,表示啟動成功:
安裝Kibana
依舊是華為雲的映象
Kibana
https://mirrors.huaweicloud.com/kibana/?C=N&O=D
選擇和你的ElasticSearch一樣的版本下載,和es一樣解壓即可用。
由於Kibana預設是英文,我們需要進入config資料夾中的kibana.yml
在末尾加入i18n.locale: "zh-CN"
,更改儲存,讓國際化變成中文。
接著進入bin目錄開啟kibana.bat,出現下方介面。
在瀏覽器開啟http://localhost:5601
,進入下方頁面即安裝成功。
REST風格說明
什麼是REST風格
REST是一種軟體架構風格,或者說是一種規範,其強調HTTP應當以資源為中心,並且規範了URI的風格;規範了HTTP請求動作(GET/PUT/POST/DELETE/HEAD/OPTIONS)的使用,具有對應的語義。
基本REST命令說明
PUT命令
建立一個demo索引的 type型別下儲存1號資料為 “name”: “小黃”, “age”:21
PUT demo/type/1
{
"name": "小黃",
"age":21
}
建立成功
對照著和關係型資料庫的聯絡理解
建立型別
不填寫時,預設為_.doc型別,在未來8.多的版本具體型別可能會被拋棄。
指定某個欄位使用指定型別,常見型別有下圖:
我們在下方建立了一個test2的索引裡面的欄位和對應的型別
插入資料
這裡在demo索引下的插入了4個記錄
PUT demo/type/1
{
"name": "小黃1.0",
"age":21
}
PUT demo/type/2
{
"name": "小黃2.0",
"age":21
}
PUT demo/type/3
{
"name": "小黃3.0",
"age":21
}
PUT demo/type/4
{
"name": "小黃4.0",
"age":21
}
更新資料
假設我需要更新name為小黃2.0,直接在對應的欄位更改成對應資料即可,需要將不修改欄位的資料也寫上去,否則將會被空白覆蓋。
PUT demo/type/1 # 更新id為1的資料
{
"name": "小黃2.0",
"age":21 #即使21不用修改還是需要寫
}
修改後 _version增加
POST命令
POST可以不帶ID傳送,ES會自動生成一個ID,如果再次請求也會再次新增一個ID
POST demo/type
{
"name": "小黃",
"age":21
}
可以看到自動生成一個ID為 5IF1dncBdbJa8wg0om_V
更新資料(推薦使用)
POST一樣可以更新資料,只需要在最後加上需要修改的ID號和/_update,加上 “doc”:{}包圍需要修改的資料欄位即可,不需要將不修改的資料寫上去。
POST demo/type/1/_update
{
"doc":{
"name": "小黃3.0"
}
}
DELETE命令
DELETE demo #刪除demo索引
DELETE demo/type/1 #刪除demo索引下的1號文件
根據請求判斷刪除索引還是文件記錄
GET命令
查詢資料(重點)
GET demo #獲取索引資訊
GET demo/type/1 #獲取demo索引的 type型別下儲存1號資料
_index:表示在哪個索引下
_type:型別
_id:新增時的id
_version:版本號
_seq_no:併發控制欄位,序列號,每次更新+1 (樂觀鎖操作使用)
_primary_term:分片,作用同上,重啟會變化
_source:真正的內容
精確查詢
term查詢是直接通過倒排索引指定的詞條進行精確查詢的
GET demo/type/_search
{
"query": {
"term": {
"age": "21"
}
}
}
而match會使用分詞器解析(先分析文件,在通過分析的文件進行查詢)
keyword型別資料不能被分詞器解析
而其他型別可以被分詞器解析
查詢字串搜尋
將具有"黃"的資料全部搜尋出來
GET demo/type/_search?q=name:黃
#! Deprecation: [types removal] Specifying types in search requests is deprecated.
{
"took" : 0,
"timed_out" : false,
"_shards" : {
"total" : 1,
"successful" : 1,
"skipped" : 0,
"failed" : 0
},
"hits" : {
"total" : {
"value" : 4,
"relation" : "eq"
},
"max_score" : 0.10536051,
"hits" : [
{
"_index" : "demo",
"_type" : "type",
"_id" : "1",
"_score" : 0.10536051,
"_source" : {
"name" : "小黃1.0",
"age" : 21
}
},
{
"_index" : "demo",
"_type" : "type",
"_id" : "2",
"_score" : 0.10536051,
"_source" : {
"name" : "小黃2.0",
"age" : 21
}
},
{
"_index" : "demo",
"_type" : "type",
"_id" : "3",
"_score" : 0.10536051,
"_source" : {
"name" : "小黃3.0",
"age" : 21
}
},
{
"_index" : "demo",
"_type" : "type",
"_id" : "4",
"_score" : 0.10536051,
"_source" : {
"name" : "小黃4.0",
"age" : 21
}
}
]
}
}
hits:顯示索引和文件資訊,查詢總結果數,權重, 具體文件,資料中的東西都可以遍歷出來
_score:表示權重,越高表示該資料和搜尋欄位越匹配。由於我上面的資料格式一樣,都只具有一個"黃"所以權重一樣,都是0.10536051。
查詢所有結果
GET demo/type/_search
{
"query":{"match_all":{}}
}
條件查詢
GET demo/type/_search
{
"query":{
"match":{
"name":"黃"
}
}
}
布林查詢
使用 "bool":{}
宣告使用布林查詢
must等同於MySQL中的 and
GET demo/type/_search
{
"query": {
"bool": {
"must": [
{
"match": {
"name": "huang"
}
},
{
"match": {
"age": 21
}
}
]
}
}
}
should等同於MySQL中的 or
filter條件過濾查詢,過濾條件的範圍用range表示gt表示大於、lt表示小於、gte表示大於等於、lte表示小於等於)
GET demo/type/_search
{
"query": {
"bool": {
"must": [
{
"match": {
"name": "黃"
}
}
],
"filter": {
"range": {
"age": {
"gte": 10,
"lt": 27
}
}
}
}
}
}
按排序查詢
GET demo/type/_search
{
"query":{
"match":{
"name":"黃"
}
},
"sort":[
{
"age":"desc" #降序
}
]
}
分頁查詢
GET demo/type/_search
{
"query":{"match_all":{}},
"from":0,
"size":2 #從零開始查詢所有記錄,每頁只顯示2條記錄
}
指定查詢結果的欄位
GET demo/type/_search
{
"query":{"match_all":{}},
"_source":["name","age"]
}
高亮查詢
搜尋出name為小黃1.0的資料,並將其name欄位高亮顯示
GET demo/type/_search
{
"query":{
"match_phrase":{
"name":"小黃1.0"
}
} ,
"highlight":{
"fields":{
"name":{}
}
}
}
自定義搜尋高亮欄位格式前後綴
拓展
GET _cat/nodes #檢視所有節點
GET _cat/health #檢視es健康狀況
GET _cat/master #檢視主節點
GET _cat/indices #檢視所有索引 == MySQL中的show databases
參考:
https://www.bilibili.com/video/BV17a4y1x7zq
http://www.mybatis.cn/archives/1112.html
https://www.jianshu.com/p/c96576fcbcd9
轉:
ElasticSearch學習筆記
&n