1. 程式人生 > >Elastic Stack-Elasticsearch使用介紹(六)

Elastic Stack-Elasticsearch使用介紹(六)

一個 idt 官方 search mat beats .html 副本 文章

一、前言

很久沒有更新博客,實在對不住大家。從10月份假期以後我就開始優化程序,來應對雙11,這段時間確實很忙,不好意思。好在優化效果還不錯,我負責的模塊在雙11期間沒有任何大問題,整體效果還是比較好的,直到本周才正真的做到解放。扯淡過後,這裏我還是開始我們監控篇,監控有些數據還是要借助於Kibana去觀察的,我這邊在暫時先放一下Kibana下篇咱們探討下,這裏先只用Kibana去展示下我們監控的數據。我仔細思考了一下,可能這個系列還是不能很快的結束,還有很多很多要說的我感覺,比如Beats、源碼方面的東西、還有些實戰等等,當然這都是後話,先開始我們今天的主題,

二、Elasticsearch監控

我們先來說下官方給我們提供接口,通過Kibana看圖形化的界面也是通過這些接口實現的,所以我們先要了解這些接口,官方是通過_cat這個接口來提供對Elasticsearch監控的。這個裏面包括了我們對集群狀況、線程數、索引、節點等等我們想要監控到的指標,接下來我們來看一下這些接口。

aliases

展示別名有關索引的別名的信息,包括過濾器和路由信息。這個地方我就不給大家展示例子了,因為這是本機環境沒有建立別名,大家自己去嘗試一下。這裏我啰嗦下別名的作用,用來無縫切換索引,為什麽要無縫切換索引,每天新增數據太多以後,為了避免數據庫和索引裏面數據不一樣所以這裏要每天重建一下索引,這裏就是通過別名的方式去實現的。

allocation

每個節點上有多少分片以及分片使用了多少磁盤空間;這個format是指定格式,我比較喜歡看見json格式,另外還能指定排序的列,下面的例子會展示;

技術分享圖片

count

查詢當前集群和單個索引文檔的個數,查詢單個索引的話在count後面加上索引的名字;

技術分享圖片

fielddata

展示每個分片上fielddata當前正在使用的堆內存量;

技術分享圖片

health

整個集群的健康狀況;

技術分享圖片

indices

查詢所有索引的狀況,包括副本、文檔數目、分配磁盤空間大小、健康狀況等等;支持單個或者模糊查詢多個索引的狀況,後面跟隨的s的參數就是可以根據那個列進行排序,可以支持多個列;

技術分享圖片

master

主節點情況;

nodeattrs

自定義節點的屬性,我沒有使用過;

nodes

每個節點使用的情況,包括CPU、磁盤空間、內存等等,可以指定想要監控的類型,如下在h後面指定想要監控的類型;

技術分享圖片

pending_tasks

等待執行任務的列表;

plugins

安裝插件的列表;

recovery

查詢索引分片恢復的狀況,這個當節點出現故障時候才會使用;

repositories

集群中註冊的快照的節點;

thread_pool

顯示每個節點的線程池統計信息,默認情況下,返回線程池活躍,隊列和拒絕統計信息。

shards

顯示每個分片詳情分布,分片告訴包含那些索引的主和副本、文檔、磁盤大小等等信息;

segments

查詢每個索引segment的詳情,不了解segment的可以去看下前面的文章;

snapshots

查詢快照信息;

templates

查詢現有版本的信息;

三、使用X-Pack監控

這裏我們監控主要監控Elasticsearch和Logstash,具體安裝步驟就參考下官方文檔;X-Pack提供很多工具,Monitoring就是用來監控的,這個插件是免費的,我們安裝好以後主要來看下我們需要註意的指標,介紹下這個工具的使用,Linux下的安裝我就不給大家多說什麽,網上一大把,Windows下給大家一個鏈接看看,這裏強調幾點:每個節點都必須安裝x-pack;配置xpack.security.enabled : false以後可以進行免登陸,接下來我們來下看搭好以後整個Kibana界面;

整體狀況:

技術分享圖片

技術分享圖片

節點狀況:

技術分享圖片

這個頁面可以查看每個索引的對應狀況:

技術分享圖片

這個頁面查看節點更詳細內存分布:

技術分享圖片

這個頁面查看每個索引的一些狀況

技術分享圖片

技術分享圖片

另外還可以對Logstash監控更好的方便我們進行調優,現在還有很多基於Grafana去搞監控,做對比等等的,有機會可以搞一波,其實我也想在公司推廣一下,辦法很多,隨意大家玩;

四、結束

接下來會介紹下Kibana和Beats相關方面的東西,更新的頻率也會多一些,又要到年底可以回顧下該年的收獲,歡迎大家加群438836709,歡迎大家關註我公眾號!

技術分享圖片

Elastic Stack-Elasticsearch使用介紹(六)