1. 程式人生 > >ElasticSearch模組Cluster

ElasticSearch模組Cluster

1.   shard allocation

叢集碎片分配是指將索引碎片分配到其他節點的過程,如下情況:叢集故障恢復、副本分配、索引動態均衡(節點增加或者減少後自動進行)都會執行索引碎片的重新分配。

如下對相關配置進行介紹:

cluster.routing.allocation.allow_rebalance

設定根據叢集中機器的狀態來重新分配分片,可以設定為可以設定為always, indices_primaries_active和indices_all_active,預設是設定成indices_all_active來減少叢集初始啟動時機器之間的互動。

cluster.routing.allocation.cluster_concurrent_rebalance 

設定在叢集中最大允許同時進行分片分佈的個數,預設為2,也就是說整個叢集最多有兩個分片在進行重新分佈。

cluster.routing.allocation.node_initial_primaries_recoveries:

設定node級別上初始化資料恢復過程中併發的主分片數量,大多情況下是local gateway,這個過程會很快,因此可以在不增加負載的情況下處理更多的主分片。

cluster.routing.allocation.node_concurrent_recoveries 

設定在節點中最大允許同時進行分片分佈的個數,預設為2

cluster.routing.allocation.enable:

指定哪些分片可以參與重新分配。選項有:all(default), primaries(主分片), new_primaries(新增加的主分片), none.

cluster.routing.allocation.disable_allocation 

使主要分片或副本的分佈失效。要知道,如果主分片不存在(那個節點掛了)那麼其副本仍然會被提升為主分片,這個設定只有在動態地使用叢集更新設定api呼叫時才生效。

cluster.routing.allocation.disable_replica_allocation 

使副本分佈失效。和上一個設定一樣,只有動態地使用叢集更新設定api呼叫時才生效。

cluster.routing.allocation.same_shard.host

是否啟用對同一分片在同一個主機上出現多個分配例項的檢測。預設false。這個選項只有在同一個node上啟動多個es例項的情況下才有意義。

indices.recovery.concurrent_stream

當從一個點(peer)恢復分片時當前節點最多允許的檔案讀取流的個數,預設為5

2.   shard allocation awareness

自定義分片分佈規則,可以通過設定分片的分佈規則來人為地影響分片的分佈,下面是個例子:

假設我們有幾個機架。當我們啟動一個節點,我們可以設定一個叫rack_id(其它名字也可以)的屬性,例如下面設定:

node.rack_id:rack_one 

上面這個例子設定了一個屬性叫rack_id,它的值為rack_one。現在,我們要設定rack_id作為分片分佈規則的一個屬性(在所有節點都要設定)。

cluster.routing.allocation.awareness.attributes:rack_id 

上面設定意味著rack_id會用來作為分片分佈的依據。例如:我們啟動兩個node.rack_id設定rack_one的節點,然後建立一個5個分片,一個副本的索引。這個索引就會完全分佈在這兩個節點上。如果再啟動另外兩個節點,node.rack_id設定成rack_two,分片會重新分佈,但是一個分片和它的副本不會分配到同樣rack_id值的節點上。可以為分片分佈規則設定多個屬性,例如:

cluster.routing.allocation.awareness.attributes:rack_id,zone 

注意:當設定了分片分佈屬性時,如果叢集中的節點沒有設定其中任何一個屬性,那麼分片就不會分佈到這個節點中。

3.   forced awareness

強制分佈規則,更多的時候,我們不想更多的副本被分佈到相同分佈規則屬性值的一群節點上,那麼,我們可以強制分片規則為一個指定的值。

例如,我們有一個分片規則屬性叫zone,並且我們知道有兩個zone,zone1和zone2.下面是設定:

cluster.routing.allocation.awareness.force.zone.values:zone1,zone2 

cluster.routing.allocation.awareness.attributes:zone 

現在我們啟動兩個node.zone設定成zone1的節點,然後建立一個5個分片,一個副本的索引。索引建立完成後只有5個分片(沒有副本),只有當我們啟動node.zone設定成zone2的節點時,副本才會分配到那節點上。

4.   shard allocation filtering

分片分佈過濾,允許通過include/exclude過濾器來控制分片的分佈。這些過濾器可以設定在索引級別上或叢集級別上。下面是個索引級別上的例子:

假如我們有四個節點,每個節點都有一個叫tag(可以是任何名字)的屬性。每個節點都指定一個tag的值。如:節點一設定成node.tag: value1,節點二設定成node.tag: value2,如此類推。我們可以建立一個索引然後只把它分佈到tag值為value1和value2的節點中,可以通過設定

index.routing.allocation.include.tag為value1,value2達到這樣的效果,如:

curl-XPUT localhost:9200/test/_settings -d '{     

   "index.routing.allocation.include.tag" :"value1,value2"     

}' 

與此相反,通過設定index.routing.allocation.exclude.tag為value3,我們也可以建立一個索引讓其分佈在除了tag設定為value3的所有節點中,如:

curl-XPUT localhost:9200/test/_settings -d '{     

   "index.routing.allocation.exclude.tag" :"value3"     

}' 

index.routing.allocation.require.tag可以設定必須滿足的一些規則才能分配,是must all的關係,而inclued 是 any的關係。

include,exclude,require可以支援簡單的萬用字元,例如value*。

另外有一個特殊的屬性_ip可以匹配節點的ip,_host可以匹配主機名稱也可以匹配ip,_name可以匹配nodename,_id可以匹配node id。

顯然,一個節點可能擁有多個屬性值,所有屬性的名字和值都在配置檔案中配置。如,下面是多個節點的配置:

node.group1:group1_value1  

node.group2:group2_value4 

同樣的方法,include和exclude也可以設定多個值,如:

curl-XPUT localhost:9200/test/_settings -d '{     

   "index.routing.allocation.include.group1" :"xxx"     

   "index.routing.allocation.include.group2" :"yyy",     

   "index.routing.allocation.exclude.group3" :"zzz",     

}' 

上面的設定可以通過索引更新的api實時更新到索引上,允許實時移動索引分片。

叢集範圍的過濾器也可以定義,可以通過叢集更新api實時更新到叢集上。這些設定可以用來做讓一些節點退出叢集的操作。下面是通過ip地址去掉一個節點的操作:

curl-XPUT localhost:9200/_cluster/settings -d '{     

    "transient" : {     

       "cluster.routing.allocation.exclude._ip" :"10.0.0.1"     

    }     

}'