1. 程式人生 > >Elasticsearch利用scroll查詢獲取所有數據

Elasticsearch利用scroll查詢獲取所有數據

0.12 但是 比較 ext class python實現 方式 search contex

Elasticsearch有兩種分頁方式,一種是通過from和size條件來實現,但是該方法開銷比較大,另一種是利用scroll來實現,通過scroll來實現分頁獲取所有的數據,下面是利用python實現的scroll獲取全部數據的方式:

 1 from elasticsearch import Elasticsearch
 2 
 3 if __name__ == "__main__":
 4     es=Elasticsearch([{"host":"10.120.241.194","port":"9200"}])
 5     query_json={
 6         "match": {
7 "type":3 8 } 9 } 10 queryData = es.search(index=‘index, scroll=5m, timeout=3s, size=100, body={"query":query_json}) 11 12 mdata = queryData.get("hits").get("hits") 13 if not mdata: 14 print empty! 15 16 scroll_id = queryData["_scroll_id"] 17
total = queryData["hits"]["total"] 18 for i in range(total/100): 19 res = es.scroll(scroll_id=scroll_id, scroll=5m) #scroll參數必須指定否則會報錯 20 mdata += res["hits"]["hits"] 21 print res 22 print mdata

通過上面的方法就可以獲取es中符合條件的所有記錄了。

如果出現{u‘index‘: None, u‘reason‘: {u‘reason‘: u‘No search context found for id [303859]‘, u‘type‘: u‘search_context_missing_exception‘}這樣的問題,是因為代碼第19行沒有加上scroll參數

Elasticsearch利用scroll查詢獲取所有數據