1. 程式人生 > 其它 >一、elk簡介

一、elk簡介

1.1 重定向
重定向:< :[讀重定向] 、> :[寫重定向]、>>:[追加重定向]、<<:[終止符號]
<<:[終止符號] 舉例
[root@host1 ~]# cat << bb
> 123
> 1223
> 1123
> 123
> bb
123
1223
1123
123
注:表示讀到<<符號的內容終止當前命令,如上所示
用 << 建立檔案
[root@host1 ~]# cat >f1 <<EOF
> QWERR
> QWER
> QWERKJNKK
> ASDSF
> EOF
stdin 0 標準輸入(讀)
stdout 1 標準輸出(寫)
stderr 2 標準輸出(寫)
數字表示檔案描述符,利用ulimit -n可以檢視,
【可以看出此係統最多能開啟1024個檔案,開啟一個檔案會形成1個編號,編號就是檔案描述符】
[root@host1 ~]# ulimit -n
1024
exec命令:執行一個命令後退出;還可以修改檔案描述符。
[root@host1 ~]# exec 6>ff
[root@host1 ~]# ls
anaconda-ks.cfg f1 ff httpd.conf http.html RPM-GPG-KEY-CentOS-7
[root@host1 ~]# cat f1
QWERR
QWER
QWERKJNKK
ASDSF
[root@host1 ~]# cat f1>&6
[root@host1 ~]# cat ff
QWERR
QWER
QWERKJNKK
ASDSF
注:對檔案描述符的操作就是對檔案的操作
[root@host1 ~]# cd /proc/$$/fd
[root@host1 fd]# ls 如果往6裡面寫資料
0 1 2 255 6
[root@host1 fd]# exec 6>&- 關閉識別符號
編輯1個指令碼
[root@host1 ~]# vim ff
#!/bin/bash
exec 9<>/dev/tcp/www.baidu.com/80
echo -ne "GET /index.html HTTP/1.1\r\n" >&9
echo -ne "Host: www.baidu.com\r\n\r\n" >&9
cat <&9
1.2 ELK 是什麼?
•ELK 其實並不是一款軟體,而是一整套解決方案,是三個軟體產品的首字母縮寫
–Elasticsearch:負責日誌檢索和儲存
–Logstash:負責日誌的收集和分析、處理
–Kibana:負責日誌的視覺化
–這三款軟體都是開源軟體,通常是配合使用,而且又先後歸於Elastic.co 公司名下,故被簡稱為ELK
1.3 ELK 能做什麼?
•ELK元件在海量日誌系統的運維中,可用於解決:
–分散式日誌資料集中式查詢和管理
–系統監控,包含系統硬體和應用各個元件的監控
–故障排查
–安全資訊和事件管理
–報表功能


1.4 Elasticsearch
Elasticsearch部分
•ElasticSearch是一個基於Lucene的搜尋伺服器。它提供了一個分散式多使用者能力的全文搜尋引擎,基於RESTfulAPI 的web 介面。
•Elasticsearch是用Java開發的,幵作為Apache許可條款下的開放原始碼釋出,是當前流行的企業級搜尋引擎。設計用於雲端計算中,能夠達到實時搜尋,穩定,可靠,快速,安裝使用方便
•主要特點
–實時分析
–分散式實時檔案儲存,幵將每一個欄位都編入索引
–文件導向,所有的物件全部是文件
–高可用性,易擴充套件,支援叢集(Cluster)、分片和複製(Shards 和Replicas)
–介面友好,支援JSON
•ES 沒有什麼?
•Elasticsearch沒有典型意義的事務.
•Elasticsearch是一種面向文件的資料庫。
•Elasticsearch沒有提供授權和認證特性
•相關概念:
–Node:裝有一個ES 伺服器的節點。
–Cluster:有多個Node組成的叢集
–Document:一個可被搜素的基礎資訊單元
–Index:擁有相似特徵的文件的集合
–Type:一個索引中可以定義一種戒多種型別
–Filed:是ES 的最小單位,相當於資料的某一列
–Shards:索引的分片,每一個分片就是一個Shard
–Replicas:索引的拷貝
SQL 與NOSQL
•ES 不關係型資料庫的對比
–在ES 中,文件歸屬於一種型別(type) ,而這些型別存在於索引(index) 中,類比傳統關係型資料庫
–DB -> Databases -> Tables -> Rows -> Columns
–關係型 資料庫 表 行 列
–ES -> Indices -> Types -> Documents -> Fields
–ES 索引 型別 文件 域(欄位)

Elasticsearch架構圖