PVE 虛擬機器模板和克隆介紹
一、ElasticSearch簡介
一個完整的集中式日誌系統，需要包含以下幾個主要特點：
- 收集－能夠採集多種來源的日誌資料
- 傳輸－能夠穩定的把日誌資料傳輸到中央系統
- 儲存－如何儲存日誌資料
- 分析－可以支援 UI 分析
- 警告－能夠提供錯誤報告，監控機制
ELK提供了一整套解決方案，並且都是開源軟體，之間互相配合使用，完美銜接，高效的滿足了很多場合的應用。目前主流的一種日誌系統。
1.1、Elasticsearch
Elasticsearch是一個基於Apache Lucene(TM)的開源搜尋引擎。無論在開源還是專有領域，Lucene可以被認為是迄今為止最先進、效能最好的、功能最全的搜尋引擎庫。
特點：
l分散式的實時檔案儲存，每個欄位都被索引並可被搜尋
l分散式的實時分析搜尋引擎--做不規則查詢
l可以擴充套件到上百臺伺服器，處理PB級結構化或非結構化資料
Elasticsearch也使用Java開發並使用Lucene作為其核心來實現所有索引和搜尋的功能，但是它的目的是通過簡單的RESTful API來隱藏Lucene的複雜性，從而讓全文搜尋變得簡單。
ES能做什麼？
全文檢索（全部欄位）、模糊查詢（搜尋）、資料分析（提供分析語法，例如聚合）
1.2、Elasticsearch使用案例
（1）2013年初，GitHub拋棄了Solr，採取ElasticSearch 來做PB級的搜尋。
（2）維基百科：啟動以elasticsearch為基礎的核心搜尋架構SoundCloud：“SoundCloud使用ElasticSearch為1.8億使用者提供即時而精準的音樂搜尋服務”
（3）百度：百度目前廣泛使用ElasticSearch作為文字資料分析，採集百度所有伺服器上的各類指標資料及使用者自定義資料，通過對各種資料進行多維分析展示，輔助定位分析例項異常或業務層面異常。目前覆蓋百度內部20多個業務線（包括casio、雲分析、網盟、預測、文庫、直達號、錢包、風控等），單叢集最大100臺機器，200個
（4）新浪使用ES 分析處理32億條實時日誌
（5）阿里使用ES 構建挖財自己的日誌採集和分析體系
1.3、同類產品
Solr、ElasticSearch、Hermes（騰訊）（實時檢索分析）
lSolr、ES
1.源自搜尋引擎，側重搜尋與全文檢索。
2.資料規模從幾百萬到千萬不等，資料量過億的叢集特別少。
有可能存在個別系統資料量過億，但這並不是普遍現象（就像Oracle的表裡的資料規模有可能超過Hive裡一樣，但需要小型機）。
lHermes
1.一個基於大索引技術的海量資料實時檢索分析平臺。側重資料分析。
2.資料規模從幾億到萬億不等。最小的表也是千萬級別。
在騰訊17臺TS5機器，就可以處理每天450億的資料(每條資料1kb左右)，資料可以儲存一個月之久。
lSolr、ES區別
全文檢索、搜尋、分析。基於lucene
- Solr 利用 Zookeeper 進行分散式管理，而 Elasticsearch 自身帶有分散式協調管理功能;
- Solr 支援更多格式的資料，而 Elasticsearch 僅支援json檔案格式；
- Solr 官方提供的功能更多，而 Elasticsearch 本身更注重於核心功能，高階功能多有第三方外掛提供；
- Solr 在傳統的搜尋應用中表現好於 Elasticsearch，但在處理實時搜尋應用時效率明顯低於 Elasticsearch-----附近的人
Lucene是一個開放原始碼的全文檢索引擎工具包，但它不是一個完整的全文檢索引擎，而是一個全文檢索引擎的架構，提供了完整的查詢引擎和索引引擎，部分文字分析引擎
搜尋引擎產品簡介