1. 程式人生 > >elasticsearch 寫一致性原理以及quorum機制

elasticsearch 寫一致性原理以及quorum機制

一、簡介

我們在傳送任何一個增刪改操作的時候,比如說: put /index/type/id,都可以帶上一個consistency引數,指明我們想要的寫一致性是什麼,例:

put /index/type/id?consistency=quorum

二、consistency

consistency的三個值:one(primary shard)、all(all shard)、quorum(default)。

  1. one:要求我們這個寫操作,只要有一個primary shard是active活躍可用的,就可以執行
  2. all:要求我們這個寫操作,必須所有的primary shard和replica shard都是活躍的,才可以執行這個寫操作
  3. quorum:預設的值,要求所有的shard中,必須是大部分的shard都是活躍的,可用的,才可以執行這個寫操作

三、quorum機制

寫之前必須確保大多數shard都可用,保證shard數量大於int( (primary + number_of_replicas) / 2 ) + 1 才生效,所以number_of_replicas必須大於1(根據前面的式子)。

quroum = int( (primary + number_of_replicas) / 2 ) + 1

例:3個primary shard,number_of_replicas=1,總共有3 + 3 * 1 = 6個shard
quorum = int( (3 + 1) / 2 ) + 1 = 3
所以,要求6個shard中至少有3個shard是active狀態的,才可以執行這個寫操作

如果節點數少於quorum數量,可能導致quorum不齊全,進而導致無法執行任何寫操作

例:3個primary shard,replica=1,要求至少3個shard是active,3個shard,必須在不同的節點上,如果說只有2臺機器的話,是不是有可能出現說,3個shard都沒法分配齊全,此時就可能會出現寫操作無法執行的情況

es提供了一種特殊的處理場景,就是說當number_of_replicas>1時才生效,因為假如說,你就一個primary shard,replica=1,此時就2個shard,(1 + 1 / 2) + 1 = 2,要求必須有2個shard是活躍的,但是可能就1個node,此時就1個shard是活躍的,如果你不特殊處理的話,導致我們的單節點叢集就無法工作

四、quorum wait

quorum不齊全時,會wait,預設1分鐘,timeout,100,30s。wait等待期間,期望活躍的shard數量可以增加,最後實在不行,就會timeout。

其實可以在寫操作的時候,加一個timeout引數,這個就是說自己去設定quorum不齊全的時候,es的timeout時長,可以縮短,也可以增長,如:

put /index/type/id?timeout=30 # 預設毫秒
put /index/type/id?timeout=30s # 指定單位為30秒