1. 程式人生 > >Elasticsearch叢集原理

Elasticsearch叢集原理

ES是如何解決高併發

ES是一個分散式全文檢索框架,隱藏了複雜的處理機制,核心內容 分片機制、叢集發現、分片負載均衡請求路由。

ES基本概念名詞

Cluster

代表一個叢集,叢集中有多個節點,其中有一個為主節點,這個主節點是可以通過選舉產生的,主從節點是對於叢集內部來說的。es的一個概念就是去中心化,字面上理解就是無中心節點,這是對於叢集外部來說的,因為從外部來看es叢集,在邏輯上是個整體,你與任何一個節點的通訊和與整個es叢集通訊是等價的。

Shards

代表索引分片,es可以把一個完整的索引分成多個分片,這樣的好處是可以把一個大的索引拆分成多個,分佈到不同的節點上。構成分散式搜尋。分片的數量只能在索引建立前指定,並且索引建立後不能更改

Replicas

代表索引副本,es可以設定多個索引的副本,副本的作用一是提高系統的容錯性,當某個節點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率,es會自動對搜尋請求進行負載均衡。

Recovery

代表資料恢復或叫資料重新分佈,es在有節點加入或退出時會根據機器的負載對索引分片進行重新分配,掛掉的節點重新啟動時也會進行資料恢復。

ES為什麼要實現叢集

ES叢集中索引可能由多個分片構成,並且每個分片可以擁有多個副本。通過將一個單獨的索引分為多個分片,我們可以處理不能在一個單一的伺服器上面執行的大型索引,簡單的說就是索引的大小過大,導致效率問題。不能執行的原因可能是記憶體也可能是儲存。由於每個分片可以有多個副本,通過將副本分配到多個伺服器,可以提高查詢的負載能力。

ES叢集核心原理分析:

 資料儲存。

1、每個索引會被分成多個分片shards進行儲存,預設建立索引是分配5個分片進行儲存。

每個分片都會分散式部署在多個不同的節點上進行部署,該分片成為primary shards。

注意:索引的主分片primary shards定義好後,後面不能做修改。

2、為了實現高可用資料的高可用,主分片可以有對應的備分片replics shards,replic shards分片承載了負責容錯、以及請求的負載均衡。

注意:

每一個主分片(primary shards)為了實現高可用,都會有自己對應的備分片(replics shards)

主分片跟本身對應的備分片不能存放同一臺伺服器上。主分片primary shards可以和其他replics shards存放在同一個node節點上。

增加一臺伺服器之後,主分片數量增加一個,每個主分片的備分片數量也要相應增加一個。

兩臺伺服器 

三臺伺服器