圖解ES 寫入流程，分成三個部分，最終版本圖解才是最終版的ES的寫入流程。

##################################第一部分#########################################

Segment：lucene底層進行儲存時，將一個index分為多個Segement。當Segement被打開了，才可以提供search

buffer：資料會先寫入記憶體buffer中。

commit：達到buffer的閥值時，會將記憶體buffer的資料寫入 os cache  --->fsync  os disk...

（1）資料寫入buffer
（2）commit point
（3）buffer中的資料寫入新的index segment
（4）等待在os cache中的index segment被fsync強制刷到磁碟上
（5）新的index sgement被開啟，供search使用
（6）buffer被清空

每次commit point時，會有一個.del檔案，標記了哪些segment中的哪些document被標記為deleted了
搜尋的時候，會依次查詢所有的segment，從舊的到新的，比如被修改過的document，在舊的segment中，會標記為deleted，在新的segment中會有其新的資料
 

##################################第二部分###########################################

現有流程的問題，每次都必須等待fsync將segment刷入磁碟，才能將segment開啟供search使用，這樣的話，從一個document寫入，到它可以被搜尋，可能會超過1分鐘！！！這就不是近實時的搜尋了！！！主要瓶頸在於fsync實際發生磁碟IO寫資料進磁碟，是很耗時的。

寫入流程別改進如下：
（1）資料寫入buffer
（2）每隔一定時間，buffer中的資料被寫入segment檔案，但是先寫入os cache
（3）只要segment寫入os cache，那就直接開啟供search使用，不立即執行commit

比如說，我們現在的時效性要求，比較低，只要求一條資料寫入es，一分鐘以後才讓我們搜尋到就可以了，那麼就可以調整refresh interval

}

#############################第三部分 ES的真實的寫入流程#################################

（1）資料寫入buffer緩衝和translog日誌檔案
（2）每隔一秒鐘，buffer中的資料被寫入新的segment file，並進入os cache，此時segment被開啟並供search使用
（3）buffer被清空
（4）重複1~3，新的segment不斷新增，buffer不斷被清空，而translog中的資料不斷累加
（5）當translog長度達到一定程度的時候，commit操作發生
  （5-1）buffer中的所有資料寫入一個新的segment，並寫入os cache，開啟供使用
  （5-2）buffer被清空
  （5-3）一個commit ponit被寫入磁碟，標明瞭所有的index segment
  （5-4）filesystem cache中的所有index segment file快取資料，被fsync強行刷到磁碟上
  （5-5）現有的translog被清空，建立一個新的translog


基於translog和commit point，如何進行資料恢復

fsync+清空translog，就是flush，預設每隔30分鐘flush一次，或者當translog過大的時候，也會flush

}