Elasticsearch分片

預設是randomize across shards

自定義：_only_nodes：根據多個節點進行查詢

Elasticsearch的腦裂問題

所謂腦裂問題（類似於精神分裂），就是同一個叢集中的不同節點，對於叢集的狀態有了不一樣的理解。
http://blog.csdn.net/cnweike/article/details/39083089
discovery.zen.minimum_master_nodes
用於控制選舉行為發生的最小叢集節點數量。推薦設為大於1的數值，因為只有在2個以上節點的叢集中，主節點才是有意義的。

正常情況下，叢集中的所有的節點，應該對叢集中master的選擇是一致的，這樣獲得的狀態資訊也應該是一致的，不一致的狀態資訊，說明不同的節點對master節點的選擇出現了異常——也就是所謂的腦裂問題。這樣的腦裂狀態直接讓節點失去了叢集的正確狀態，導致叢集不能正常工作。

腦裂問題的原因：

1. 網路：由於是內網通訊，網路通訊問題造成某些節點認為master死掉，而另選master的可能性較小。
2.節點負載：由於master節點與data節點都是混合在一起的，所以當工作節點的負載較大時，導致對應的ES例項停止響應，而這臺伺服器如果正充當著master節點的身份，那麼一部分節點就會認為這個master節點失效了，故重新選舉新的節點，這時就出現了腦裂；同時由於data節點上ES程序佔用的記憶體較大，較大規模的記憶體回收操作也能造成ES程序失去響應。

腦裂問題的解決：

主節點
node.master:true
node.data:false
從節點
node.master:false
node.data:true
所有節點
discovery.zen.ping.multicast.enabled:false
discovery.zen.ping.unicast.hosts:[“master”,“slave1”,“slave2"]

Elasticsearch的優化

調大系統的"最大開啟檔案數",建議32K甚至是64K
ulimit -a (檢視)
ulimit -n 32000(設定)
修改配置檔案調整ES的JVM記憶體大小
1：修改bin/elasticsearch.in.sh中ES_MIN_MEM和ES_MAX_MEM的大小，建議設定一樣大，避免頻繁的分配記憶體，根據伺服器記憶體大小，一般分配60%左右(預設256M)
2：如果使用searchwrapper外掛啟動es的話則修改bin/service/elasticsearch.conf(預設1024M)
設定mlockall來鎖定程序的實體記憶體地址
避免交換（swapped）來提高效能
修改檔案conf/elasticsearch.yml
boostrap.mlockall: true
分片多的話，可以提升建立索引的能力，5-20個比較合適。
如果分片數過少或過多，都會導致檢索比較慢。分片數過多會導致檢索時開啟比較多的檔案，另外也會導致多臺伺服器之間通訊。而分片數過少會導至單個分片索引過大，所以檢索速度慢。建議單個分片最多儲存20G左右的索引資料，所以，分片數量=資料總量/20G。
副本多的話，可以提升搜尋的能力，但是如果設定很多副本的話也會對伺服器造成額外的壓力，因為需要同步資料。所以建議設定2-3個即可。
要定時對索引進行優化，不然segment越多，查詢的效能就越差
索引量不是很大的話情況下可以將segment設定為1
curl -XPOST 'http://localhost:9200/bjsxt/_optimize?max_num_segments=1'
java程式碼：client.admin().indices().prepareOptimize(“bjsxt").setMaxNumSegments(1).get();

刪除文件：在Lucene中刪除文件，資料不會馬上在硬碟上除去，而是在lucene索引中產生一個.del的檔案，而在檢索過程中這部分資料也會參與檢索，lucene在檢索過程會判斷是否刪除了，如果刪除了在過濾掉。這樣也會降低檢索效率。所以可以執行清除刪除文件
curl -XPOST 'http://localhost:9200/elasticsearch/_optimize?only_expunge_deletes=true'
client.admin().indices().prepareOptimize("elasticsearch").setOnlyExpungeDeletes(true).get();
如果在專案開始的時候需要批量入庫大量資料的話，建議將副本數設定為0
因為es在索引資料的時候，如果有副本存在，資料也會馬上同步到副本中，這樣會對es增加壓力。待索引完成後將副本按需要改回來。這樣可以提高索引效率。

去掉mapping中_all域，Index中預設會有_all的域，(相當於solr配置檔案中的拷貝欄位text)，這個會給查詢帶來方便，但是會增加索引時間和索引尺寸
"_all":{"enabled":"false"}
log輸出的水平預設為trace，即查詢超過500ms即為慢查詢，就要列印日誌，造成cpu和mem，io負載很高。把log輸出水平改為info，可以減輕伺服器的壓力。
修改ES_HOME/conf/logging.yaml檔案
或者修改ES_HOME/conf/elasticsearch.yaml

使用反射獲取Elasticsearch客戶端
可以使用前面講的方式通過new獲取client
使用反射方式：網上反映這種方式效率明顯高於new客戶端，並可避免線上環境記憶體溢位和超時等問題

Elasticsearch使用經驗

在使用java程式碼操作es叢集的時候要保證本地使用的es的版本和叢集上es的版本保持一致。
保證叢集中每個節點的JDK版本和es配置一致。

Elasticsearch分片規則

elasticsearch在建立索引時，根據id或id，型別進行hash，得到hash值與該索引的文件數量取餘，取餘的值即為存入的分片。
具體原始碼為：根據OperationRouting類的shardId方法進行分片