2. 程式人生 > >18-elasticsearch叢集健康為黃色

18-elasticsearch叢集健康為黃色

阿新 • • 發佈：2018-12-31

1.問題1:新加入一個數據後，叢集由綠色轉為黃色

描述：
windows下只有一臺機器，在Kibana中使用以下命令
新建索引：
設定這個索引分片為1

PUT /megacorp
{
  "settings":{
           "number_of_shards":1,     
           "number_of_replicas":1
  }
}

新增資料

POST /megacorp/employee/1
{
    "first_name" : "John",
    "last_name" :  "Smith",
    "age" :        25
 
,
    "about" :      "I love to go rock climbing",
    "interests": [ "sports", "music" ]
}

介面黃色，提示UNASSIGNED

這裡寫圖片描述

後臺檢視所有分片狀態

GET /_cat/shards

結果

.monitoring-alerts-6            0 p STARTED        1   6.1kb 127.0.0.1 6wPQIP5
megacorp                        0 p STARTED        3  16.4kb 127.0.0.1 6wPQIP5
megacorp                        0
 
 r UNASSIGNED                         
.monitoring-kibana-6-2018.02.13 0 p STARTED     1824     1mb 127.0.0.1 6wPQIP5
.monitoring-kibana-6-2018.02.11 0 p STARTED      194  76.2kb 127.0.0.1 6wPQIP5
.watcher-history-7-2018.02.11   0 p STARTED      272 363.4kb 127.0.0.1 6wPQIP5
.monitoring-es-6-2018.02.13     0 p STARTED    27920
 
  19.7mb 127.0.0.1 6wPQIP5
.triggered_watches              0 p STARTED        0   5.1kb 127.0.0.1 6wPQIP5
.watches                        0 p STARTED        6  25.1kb 127.0.0.1 6wPQIP5
.monitoring-es-6-2018.02.11     0 p STARTED     4888   2.4mb 127.0.0.1 6wPQIP5
.security-6                     0 p STARTED        3   9.8kb 127.0.0.1 6wPQIP5

1.1 解決方法（未解決）

查詢得到master節點的唯一標識
命令：

GET /_nodes/process?pretty

結果：

{
  "_nodes": {
    "total": 1,
    "successful": 1,
    "failed": 0
  },
  "cluster_name": "elasticsearch",
  "nodes": {
    "6wPQIP5sT_qEmEpyJm8i6w": {
      "name": "6wPQIP5",
      "transport_address": "127.0.0.1:9300",
      "host": "127.0.0.1",
      "ip": "127.0.0.1",
      "version": "6.2.1",
      "build_hash": "7299dc3",
      "roles": [
        "master",
        "data",
        "ingest"
      ],
      "process": {
        "refresh_interval_in_millis": 1000,
        "id": 10892,
        "mlockall": false
      }
    }
  }
}

執行reroute(分多次, 變更shard的值為UNASSIGNED查詢結果中編號, 上一步查詢結果是1和3)

curl -XPOST 'localhost:9200/_cluster/reroute' -d '{
        "commands" : [ {
              "allocate" : {
                  "index" : "pv-2015.05.22",
                  "shard" : 1,
                  "node" : "AfUyuXmGTESHXpwi4OExxx",
                  "allow_primary" : true
              }
            }
        ]
    }'

這裡我windows下無法使用，暫時沒測試

批量處理的指令碼(當數量很多的話, 注意替換node的名字)

#!/bin/bash

for index in $(curl  -s 'http://localhost:9200/_cat/shards' | grep UNASSIGNED | awk '{print $1}' | sort | uniq); do
    for shard in $(curl  -s 'http://localhost:9200/_cat/shards' | grep UNASSIGNED | grep $index | awk '{print $2}' | sort | uniq); do
        echo  $index $shard

        curl -XPOST 'localhost:9200/_cluster/reroute' -d "{
            'commands' : [ {
                  'allocate' : {
                      'index' : $index,
                      'shard' : $shard,
                      'node' : 'Master',
                      'allow_primary' : true
                  }
                }
            ]
        }"

        sleep 5
    done
done

1.2 解決方法（未解決）

1.在J:\elasticsearch\elasticsearch-6.2.1\config\elasticsearch.yml檔案加入配置

cluster.routing.allocation.enable : all

重啟es，任然黃色 已經開啟了自動分配功能。那就很奇怪了，為什麼這個節點沒有分配呢。
新增新配置

index.number_of_replicas: 0

列印如下，並且直接退出了

J:\elasticsearch\elasticsearch-6.2.1\bin>elasticsearch.bat
*************************************************************************************
Found index level settings on node level configuration.

Since elasticsearch 5.x index level settings can NOT be set on the nodes
configuration like the elasticsearch.yaml, in system properties or command line
arguments.In order to upgrade all indices the settings must be updated via the
/${index}/_settings API. Unless all settings are dynamic all indices must be closed
in order to apply the upgradeIndices created in the future should use index templates
to set default values.

Please ensure all required values are updated on all indices by executing:

curl -XPUT 'http://localhost:9200/_all/_settings?preserve_existing=true' -d '{
  "index.number_of_replicas" : "0"
}'
*************************************************************************************

[2018-02-13T23:16:03,368][WARN ][o.e.b.ElasticsearchUncaughtExceptionHandler] [] uncaught exception in thread [main]
org.elasticsearch.bootstrap.StartupException: java.lang.IllegalArgumentException: node settings must not contain any index level settings
        at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:125) ~[elasticsearch-6.2.1.jar:6.2.1]
        at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:112) ~[elasticsearch-6.2.1.jar:6.2.1]
        at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:86) ~[elasticsearch-6.2.1.jar:6.2.1]
        at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:124) ~[elasticsearch-cli-6.2.1.jar:6.2.1]
        at org.elasticsearch.cli.Command.main(Command.java:90) ~[elasticsearch-cli-6.2.1.jar:6.2.1]
        at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:92) ~[elasticsearch-6.2.1.jar:6.2.1]
        at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:85) ~[elasticsearch-6.2.1.jar:6.2.1]
Caused by: java.lang.IllegalArgumentException: node settings must not contain any index level settings
        at org.elasticsearch.common.settings.SettingsModule.<init>(SettingsModule.java:128) ~[elasticsearch-6.2.1.jar:6.2.1]
        at org.elasticsearch.node.Node.<init>(Node.java:331) ~[elasticsearch-6.2.1.jar:6.2.1]
        at org.elasticsearch.node.Node.<init>(Node.java:246) ~[elasticsearch-6.2.1.jar:6.2.1]
        at org.elasticsearch.bootstrap.Bootstrap$5.<init>(Bootstrap.java:213) ~[elasticsearch-6.2.1.jar:6.2.1]
        at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:213) ~[elasticsearch-6.2.1.jar:6.2.1]
        at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:323) ~[elasticsearch-6.2.1.jar:6.2.1]
        at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:121) ~[elasticsearch-6.2.1.jar:6.2.1]
        ... 6 more

J:\elasticsearch\elasticsearch-6.2.1\bin>

1.3 解決方法（未解決）

因為所有primary shards都是好的，所有replica shards有問題，那麼我強制刪除掉replica shards，讓es再重新生成，不就ok了嗎。
首先先將出問題的index的副本為0

檢視節點

.watcher-history-7-2018.02.11   0 p STARTED      272 363.3kb 127.0.0.1 6wPQIP5
.monitoring-es-6-2018.02.11     0 p STARTED     4888   2.4mb 127.0.0.1 6wPQIP5
megacorp                        0 p STARTED        3  16.4kb 127.0.0.1 6wPQIP5
megacorp                        0 r UNASSIGNED                         
.watches                        0 p STARTED        6    25kb 127.0.0.1 6wPQIP5
.monitoring-es-6-2018.02.13     0 p STARTED    24874  17.6mb 127.0.0.1 6wPQIP5
.monitoring-kibana-6-2018.02.13 0 p STARTED     1649   1.1mb 127.0.0.1 6wPQIP5
.monitoring-kibana-6-2018.02.11 0 p STARTED      194  76.2kb 127.0.0.1 6wPQIP5
.triggered_watches              0 p STARTED        0   5.1kb 127.0.0.1 6wPQIP5
.monitoring-alerts-6            0 p STARTED        1   6.1kb 127.0.0.1 6wPQIP5
.security-6                     0 p STARTED        3   9.8kb 127.0.0.1 6wPQIP5

將出問題的index的副本為0

PUT /megacorp/_settings
{
    "index" : {
        "number_of_replicas" : 0
    }
}

結果如下

{
  "acknowledged": true
}

檢視節點

命令
GET /_cat/shards

結果
.monitoring-es-6-2018.02.13     0 p STARTED 27097  19.6mb 127.0.0.1 6wPQIP5
.monitoring-alerts-6            0 p STARTED     1   6.1kb 127.0.0.1 6wPQIP5
.watches                        0 p STARTED     6  25.1kb 127.0.0.1 6wPQIP5
.security-6                     0 p STARTED     3   9.8kb 127.0.0.1 6wPQIP5
.monitoring-kibana-6-2018.02.11 0 p STARTED   194  76.2kb 127.0.0.1 6wPQIP5
.monitoring-kibana-6-2018.02.13 0 p STARTED  1766   1.1mb 127.0.0.1 6wPQIP5
megacorp                        0 p STARTED     3  16.4kb 127.0.0.1 6wPQIP5
.watcher-history-7-2018.02.11   0 p STARTED   272 363.4kb 127.0.0.1 6wPQIP5
.triggered_watches              0 p STARTED     0   5.1kb 127.0.0.1 6wPQIP5
.monitoring-es-6-2018.02.11     0 p STARTED  4888   2.4mb 127.0.0.1 6wPQIP5

沒有 replica shards 了。
接下來再恢復回去：

PUT /megacorp/_settings
{
    "index" : {
        "number_of_replicas" : 1
    }
}

檢視

megacorp                        0 p STARTED        3  16.4kb 127.0.0.1 6wPQIP5
megacorp                        0 r UNASSIGNED

還是未解決

1.4解決方法（解決）

叢集的健康狀況為 yellow 則表示全部 主 分片(number_of_shards 這個引數的設定)都正常執行（叢集可以正常服務所有請求），但是 副本 分片沒有全部處在正常狀態。 實際上，單節點無論有多少個副本分片（number_of_replicas 的設定）都是 unassigned —— 它們都沒有被分配到任何節點。 在同一個節點上既儲存原始資料又儲存副本是沒有意義的，因為一旦失去了那個節點，我們也將丟失該節點上的所有副本資料。

因此我們在只有一臺機器的時候，新建索引要這麼建立

PUT /website
{
  "settings":{
           "number_of_shards":1,     
           "number_of_replicas":0
  }
}

建立索引website，設定主分片為1，沒有副分片，這樣就可以了，開啟http://localhost:9100/發現我們的叢集是綠色了

1.4 總結：yellow

原因

yellow表示所有主分片可用，但不是所有副本分片都可用，最常見的情景是單節點時，由於es預設是有1個副本，主分片和副本不能在同一個節點上，所以副本就是未分配unassigned

所以單節點是沒法分配副本的

處理

過濾檢視所有未分配索引的方式，curl -s “http://10.19.22.142:9200/_cat/shards” | grep UNASSIGNED結果如下，第一列表示索引名，第二列表示分片編號，第三列p是主分片，r是副本

知道哪個索引的哪個分片就開始手動修復，通過reroute的allocate分配

curl -XPOST '{ESIP}:9200/_cluster/reroute' -d '{
    "commands" : [ {
          "allocate" : {
              "index" : "eslog1",
              "shard" : 4,
              "node" : "es1",
              "allow_primary" : true
          }
        }
    ]
}'

分配時可能遇到的坑，需要注意的地方

  • 分配副本時必須要帶引數”allow_primary” : true, 不然會報錯
  • 當叢集中es版本不同時，如果這個未分配的分片是高版本生成的，不能分配到低版本節點上，反過來低版本的分片可以分配給高版本，如果遇到了，只要升級低版本節點的ES版本即可
  • （升級ES版本詳見官方詳細文件，我是ubuntu系統apt安裝的，直接apt-get install
    elasticsearch升級的，elasticsearch.yml配置檔案沒變不用修改，但是/usr/share/elasticsearch/bin/elasticsearch檔案中有個記憶體配置ES_HEAP_SIZE=6G需要再手動加一下&重啟es）

相關推薦

18-elasticsearch叢集健康為黃色

1.問題1:新加入一個數據後，叢集由綠色轉為黃色 描述： windows下只有一臺機器，在Kibana中使用以下命令 新建索引： 設定這個索引分片為1 PUT /megacorp { "settings":{ "numbe

Elasticsearch叢集健康

叢集健康 （cluster health）：ES叢集監控資訊中的一種，用status表示，status可為green，yellow，red。當status為green時，說明所有的主分片和副本分片都可用；當status為green時，說明所有的主分片都可用，但不是所有的副本分片都可用；當s

乾貨 | Elasticsearch 叢集健康值紅色終極解決方案

題記 Elasticsearch當清理快取（ echo 3 > /proc/sys/vm/drop_caches ）的時候，出現 如下叢集健康值：red，紅色預警狀態，同時部分分片都成為灰色。 檢視Elasticsearch啟動日誌會發現如下：

乾貨 | Elasticsearch 叢集健康值紅色終極解決方案【轉】

題記 Elasticsearch當清理快取（ echo 3 > /proc/sys/vm/drop_caches ）的時候，出現 如下叢集健康值：red，紅色預警狀態，同時部分分片都成為灰色。  檢視Elasticsearch啟動日誌會發現如下： 叢集服務超時連線的情況。 bserver: timeou

Elasticsearch 叢集健康狀態監控介面

        說到 Elasticsearch 叢集監控，首先我們肯定是需要一個從總體意義上的概要。不管是多大規模的叢集，告訴我正常還是不正常？沒錯，叢集健康狀態介面就是用來回答這個問題的，而且這個介面的資訊已經出於意料的豐富了。 命令示例 # c

ElasticSearch-叢集健康度監控

簡單的ES叢集健康度監控  ES叢集健康度分為：紅 黃 綠三種顏色 紅色：個別分片 副本不可用 黃色：個別副本不可用   綠色：為健康 本監控方法為簡單的定時排程，可以檢視ES叢集是否健康 properties屬性檔案如下： #es監控配置 es.cluster=10.2

【docker】elasticsearch-head無法連線elasticsearch的原因和解決,叢集健康值：未連線,ElasticSearch——跨域訪問的問題

 環境 ==================== 虛擬機器啟動 centos 7  ip:192.168.92.130 elasticsearch 5.6.9   port:9200  9201 elasticSearch-head 5  p

乾貨 | Elasticsearch叢集黃色原因的終極探祕

1、Elasticsearch叢集不同顏色代表什麼？ 綠色——最健康的狀態，代表所有的主分片和副本分片都可用； 黃色——所有的主分片可用，但是部分副本分片不可用； 紅色——部分主分片不可用。（此時執行查詢部分資料仍然可以查到，遇到這種情況，還是趕快解決

ElasticSearch教程-分散式叢集之叢集健康

在Elasticsearch叢集中可以監控統計很多資訊，但是隻有一個是最重要的：叢集健康(cluster health)。叢集健康有三種狀態：green、yellow或red。 GET /_cluster/health 在一個沒有索引的空叢集中執行如上查詢，將返回這些資訊： {

elasticsearch快速入門案例實戰之電商網站商品管理：叢集健康檢查，CRUD

主要內容： 1、document資料格式 2、電商網站商品管理案例：背景介紹 3、簡單的叢集管理 4、商品的CRUD操作（document CRUD操作） -----------------------------------------------------------------

Ambari叢集移動現有複製到另外地方或更改ip地址，導致各項服務元件上為黃色問號代表心跳丟失的解決方案（圖文詳解）（博主推薦）

前言          最近，是在做叢集搬移工作，大家肯定會遇到如下的場景。          （1） 比如，你新購買的電腦，初步者學習使用Ambari叢集。從舊電腦複製到新電腦這邊來。          （2） 比如，你公司Ambari叢集的ip，因業務或其他情況需要，暫時需要更改ip。  

wamp圖標為黃色（非端口號問題）

pac bsp log 進入 找到 配置 services src 沒有 1、Win鍵+R 輸入:services.msc 進入服務，找到wamp,看哪個服務沒有啟動 2、手動啟動apache服務失敗，彈出以下錯誤 3、然後在cmd命令行中切換到你的apache的b

18、【華為HCIE-Storage】--Smart Cache

HCIE storage hostman ------------------------------------重要說明------------------------------------以下部分內容來網絡，部分自華為存儲官方教材具體教材內容請移步華為存儲官網進行教材下載 網絡引用內容

Elasticsearch叢集狀態檢視命令

_cat$ curl localhost:9200/_cat=^.^=/_cat/allocation/_cat/shards/_cat/shards/{index}/_cat/master/_cat/nodes/_cat/indices/_cat/indices/{index}/_cat/segments/

CentOS7 上搭建多節點 Elasticsearch叢集

本文內容腦圖如下： 文章共 747字，閱讀大約需要 2分鐘 ！ 概 述 最近學 Elasticsearch，既然學之，怎麼能沒有實際的叢集來把玩呢，因此自己必須動手搭一個！ 注： 本文首發於 My Personal Blog：CodeSheep·程式羊，歡迎光臨 小站

elasticsearch叢集管理指南

一、叢集規劃 搭建一個叢集我們需要考慮如下幾個問題： 1. 我們需要多大規模的叢集？ 2. 叢集中的節點角色如何分配？ 3. 如何避免腦裂問題？ 4. 索引應該設定多少個分片？ 5. 分片應該設定幾個副本？ 下面我們就來分析和回答這幾個問題 1、我們需要多大規模的叢集

[Elasticsearch] 叢集的工作原理 - 第一部分

ES就是為高可用和可擴充套件而生的。擴充套件可以通過購置效能更強的伺服器（垂直擴充套件或者向上擴充套件，Vertical Scale / Scaling Up），亦或是通過購置更多的伺服器（水平擴充套件或者向外）擴充套件，水平縮放/縮小）來完成。 儘管ES能夠利用更強勁的硬體，垂直擴充套件畢竟還

docker簡易搭建ElasticSearch叢集

寫在前面：為什麼要用ElasticSearch？我們的應用經常需要新增檢索功能，開源的Elastic Search是目前全文檢索引擎的首選。它可以快速的儲存、搜尋和分析海量資料。ElasticSearch是一個分散式搜尋框架，提供RestfulAPI，底層基於Lucene，採用多shard（

ElasticSearch叢集配置資訊

elasticsearch5.5多機叢集配置   ELasticsearch 5.5要求JDK版本最低為1.8;   配置叢集之前  先把要加群叢集的節點的裡的data目錄下的Node目錄 刪除，否則叢集建立會失敗。   我這邊虛擬機器

和我一起打造個簡單搜尋之ElasticSearch叢集搭建

我們所常見的電商搜尋如京東，搜尋頁面都會提供各種各樣的篩選條件，比如品牌、尺寸、適用季節、價格區間等，同時提供排序，比如價格排序，信譽排序，銷量排序等，方便了使用者去找到自己心裡理想的商品。 站內搜尋對於一個網站幾乎是標配，只是搜尋的強大與否的區別，有的網站只支援關鍵詞模糊搜尋，而淘寶，京東提供了精細的篩選