1. 程式人生 > >基於Python操作ElasticSearch

基於Python操作ElasticSearch

環境依賴:

  Python:2.7 
  ES依賴包:pyelasticsearch 

 本文主要就ES基本的CRUD操作做以歸納整理,ES官方對Python的依賴支援有很多,eg:pyelasticsearch、ESClient、elasticutils、pyes、rawes、Surfiki Refine等。博主在工作中只涉及到了pyelasticsearch,所以本文主要就該依賴做說明,其他的依賴包可詳見官網。 
 pyelasticsearch依賴包的安裝命令:pip install elasticsearch

 pyelasticsearch依賴所提供的介面不是很多,下面主要從單一操作和批量操作兩大類做以討論和分析。

單一操作

插入 
  create:必須指定待查詢的idnex、type、id和查詢體body;缺一不可,否則報錯 
  index:相比於create,index的用法就相對靈活很多;id並非是一個必選項,如果指定,則該文件的id就是指定值,若不指定,則系統會自動生成一個全域性唯一的id賦給該文件。 
eg:

body = {"name": 'lucy', 'sex': 'female', 'age': 10}
es = Elasticsearch(['localhost:9200'])
es.index(index='indexName', doc_type='typeName', body, id=None)

刪除 
  delete:刪除指定index、type、id的文件

es.delete(index='indexName', doc_type='typeName', id='idValue')

查詢 
  get:獲取指定index、type、id所對應的文件

es.get(index='indexName', doc_type='typeName', id='idValue')

更新 
  update:跟新指定index、type、id所對應的文件 
  

es.update(index='indexName', doc_type='typeName', id='idValue', body={待更新欄位})

批量操作

條件查詢 
  search:查詢滿足條件的所有文件,沒有id屬性,且index,type和body均可為None。 
  body的語法格式必須符合DSL(Domain Specific Language )格式

query = {'query': {'match_all': {}}}# 查詢所有文件

query = {'query': {'term': {'name': 'jack'}}}# 查詢名字叫做jack的所有文件

query = {'query': {'range': {'age': {'gt': 11}}}}# 查詢年齡大於11的所有文件

allDoc = es.search(index='indexName', doc_type='typeName', body=query)

print allDoc['hits']['hits'][0]# 返回第一個文件的內容

條件刪除 
  delete_by_query:刪除滿足條件的所有資料,查詢條件必須符合DLS格式

query = {'query': {'match': {'sex': 'famale'}}}# 刪除性別為女性的所有文件

query = {'query': {'range': {'age': {'lt': 11}}}}# 刪除年齡小於11的所有文件

es.delete_by_query(index='indexName', body=query, doc_type='typeName')

條件更新 
  update_by_query:更新滿足條件的所有資料,寫法同上刪除和查詢

批量插入、刪除、更新 
  bulk:在這重點和大家聊聊bulk方法,前面的所有方法都很簡單,唯獨這個bulk在筆者開始接觸的時候,花費了不少時間;這個方法可以同時執行多個操作,單隻請求一次,從而在批量操作的時候,可以很大程度上減少程式系統開銷。此外,bulk不僅可以一次性批量執行插入、或者刪除操作,還可以在一次請求中,既可以插入、又可以刪除和更新操作。 
  但是需要注意的是,任何一種操作都有固定的文件格式,只有完全符合該格式要求,才可執行成功。廢話不多說,直接上程式碼:

 doc = [
     {"index": {}},
     {'name': 'jackaaa', 'age': 2000, 'sex': 'female', 'address': u'北京'},
     {"index": {}},
     {'name': 'jackbbb', 'age': 3000, 'sex': 'male', 'address': u'上海'},
     {"index": {}},
     {'name': 'jackccc', 'age': 4000, 'sex': 'female', 'address': u'廣州'},
     {"index": {}},
     {'name': 'jackddd', 'age': 1000, 'sex': 'male', 'address': u'深圳'},
 ]
 doc = [
    {'index': {'_index': 'indexName', '_type': 'typeName', '_id': 'idValue'}}
    {'name': 'jack', 'sex': 'male', 'age': 10 }
    {'delete': {'_index': 'indexName', '_type': 'typeName', '_id': 'idValue'}}
    {"create": {'_index' : 'indexName', "_type" : 'typeName', '_id': 'idValue'}}
    {'name': 'lucy', 'sex': 'female', 'age': 20 }
    {'update': {'_index': 'indexName', '_type': 'typeName', '_id': 'idValue'}}
    {'doc': {'age': '100'}}
 ]
 es.bulk(index='indexName',  doc_type='typeName', body=doc)

  通過上面兩個例子可以看出,在用bulk在批量操作的時候,對於不同的操作型別,一定要與之對應一個操作頭資訊(eg:{“index”: {}}, {‘delete’: {…}}, …),否則會報TransportError(400, u’illegal_argument_exception’)的錯誤。 
  說到這裡,在實際過程中,很多時候就會在此處要專門去批湊這樣的一個字典陣列。假設有如下場景: 
  如果要批量插入一批資料,如上述第一個例子,則在現有資料集的基礎上,很容易想到一個解決方法:通過list的奇偶合並的方法快速實現所需要的字典陣列。在這推薦一種Python的技巧:[::2]和[1::2]來實現奇偶合並。