搜尋引擎（Elasticsearc-叢集管理）
學習目標
瞭解叢集規劃的基本原則。
掌握叢集管理的基本方法。
叢集規劃
叢集規劃問題
1. 我們需要多大規模的叢集？
2. 叢集中的節點角色如何分配？
3. 如何避免腦裂問題？
4. 索引應該設定多少個分片？
5. 分片應該設定幾個副本？
我們需要多大規模的叢集？
當前的資料量有多大？資料增長情況如何？
你的機器配置如何？cpu、多大記憶體、多大硬碟容量？
推算的依據：
ES JVM heap 最大 32G 。
30G heap 大概能處理的資料量 10 T。如果記憶體很大如128G，可在一臺機器上執行多個ES節點例項。
叢集規劃滿足當前資料規模+適量增長規模即可，後續可按需擴充套件。
兩類應用場景：
1.用於構建業務搜尋功能模組，且多是垂直領域的搜尋。資料量級幾千萬到數十億級別。一般2-4臺機器的規模。
2.用於大規模資料的實時OLAP（聯機處理分析），經典的如ELK Stack，資料規模可能達到千億或更多。幾十到上百節點的規模。
叢集中的節點角色如何分配？
節點角色：
一個節點可以充當一個或多個角色，預設三個角色都有
Master
node.master: true 節點可以作為主節點
DataNode
node.data: true 預設是資料節點。
Coordinate node 協調節點
如果僅擔任協調節點，將上兩個配置設為false。
如何分配：
1.小規模叢集，不需嚴格區分。
2.中大規模叢集（十個以上節點），應考慮單獨的角色充當。特別併發查詢量大，查詢的合併量大，可以增加獨立的協調節點。角色分開的好處是分工分開，不互影響。如不會因協調角色負載過高而影響資料節點的能力。
如何避免腦裂問題？
儘量避免腦裂，配置：
discovery.zen.minimum_master_nodes: (有master資格節點數/2) + 1
這個引數控制的是，選舉主節點時需要看到最少多少個具有master資格的活節點，才能進行選舉。官方的推薦值是(N/2)+1，其中N是具有master資格的節點的數量。
node.master: true
node.data: false 常用做法（中大規模叢集）：
1 Master 和 dataNode 角色分開，配置奇數個master，如3
2 單播發現機制，配置master資格節點
discovery.zen.ping.multicast.enabled: false
discovery.zen.ping.unicast.hosts: ["master1", "master2", "master3"]3 配置選舉發現數，及延長ping master的等待時長
discovery.zen.ping_timeout: 30（預設值是3秒）
discovery.zen.minimum_master_nodes: 2
索引應該設定多少個分片？
分片數指定後不可變，除非重索引。
思考：
分片對應的儲存實體是什麼？
分片是不是越多越好？
分片多有什麼影響？
分片過多的影響：
1 每個分片本質上就是一個Lucene索引, 因此會消耗相應的檔案控制代碼, 記憶體和CPU資源。
2 每個搜尋請求會排程到索引的每個分片中. 如果分片分散在不同的節點倒是問題不太. 但當分片開始競爭相同的硬體資源時, 效能便會逐步下降。
3 ES使用詞頻統計來計算相關性. 當然這些統計也會分配到各個分片上. 如果在大量分片上只維護了很少的資料, 則將導致最終的文件相關性較差。
分片設定的可參考原則：
1 ElasticSearch推薦的最大JVM堆空間是30~32G, 所以把你的分片最大容量限制為30GB, 然後再對分片數量做合理估算. 例如, 你認為你的資料能達到200GB, 推薦你最多分配7到8個分片。
2 在開始階段, 一個好的方案是根據你的節點數量按照1.5~3倍的原則來建立分片. 例如,如果你有3個節點, 則推薦你建立的分片數最多不超過9(3x3)個。當效能下降時，增加節點，ES會平衡分片的放置。
3 對於基於日期的索引需求, 並且對索引資料的搜尋場景非常少. 也許這些索引量將達到成百上千, 但每個索引的資料量只有1GB甚至更小. 對於這種類似場景, 建議只需要為索引分配1個分片
分片應該設定幾個副本？
思考：
1 副本的用途是什麼？
2 針對它的用途，我們該如何設定它的副本數？
3 叢集規模沒變的情況下副本過多會有什麼影響？
副本數是可以隨時調整的！
基本原則：
1 為保證高可用，副本數設定為2即可。要求叢集至少要有3個節點，來分開存放主分片、副本。
2 如發現併發量大時，查詢效能會下降，可增加副本數，來提升併發查詢能力。