1. 程式人生 > >使用curl命令操作elasticsearch And 使用http 查詢ES

使用curl命令操作elasticsearch And 使用http 查詢ES

第一:_cat系列 
_cat系列提供了一系列查詢elasticsearch叢集狀態的介面。你可以通過執行 
curl -XGET localhost:9200/_cat 
獲取所有_cat系列的操作 
=^.^= 
/_cat/allocation 
/_cat/shards 
/_cat/shards/{index} 
/_cat/master 
/_cat/nodes 
/_cat/indices 
/_cat/indices/{index} 
/_cat/segments 
/_cat/segments/{index} 
/_cat/count 
/_cat/count/{index} 
/_cat/recovery 
/_cat/recovery/{index} 
/_cat/health 
/_cat/pending_tasks 
/_cat/aliases 
/_cat/aliases/{alias} 
/_cat/thread_pool 
/_cat/plugins 
/_cat/fielddata 
/_cat/fielddata/{fields} 
你也可以後面加一個v,讓輸出內容表格顯示錶頭,舉例

name component version type url 
Prometheus analysis-mmseg NA j 
Prometheus analysis-pinyin NA j 
Prometheus analysis-ik NA j 
Prometheus analysis-ik NA j 
Prometheus analysis-smartcn 2.1.0 j 
Prometheus segmentspy NA s /_plugin/segmentspy/ 
Prometheus head NA s /_plugin/head/ 
Prometheus bigdesk NA s /_plugin/bigdesk/ 
Xandu analysis-ik NA j 
Xandu analysis-pinyin NA j 
Xandu analysis-mmseg NA j 
Xandu analysis-smartcn 2.1.0 j 
Xandu head NA s /_plugin/head/ 
Xandu bigdesk NA s /_plugin/bigdesk/ 
Onyxx analysis-ik NA j 
Onyxx analysis-mmseg NA j 
Onyxx analysis-smartcn 2.1.0 j 
Onyxx analysis-pinyin NA j 
Onyxx head NA s /_plugin/head/ 
Onyxx bigdesk NA s /_plugin/bigdesk/ 
第二:_cluster系列 
1、查詢設定叢集狀態 
curl -XGET localhost:9200/_cluster/health?pretty=true 
pretty=true表示格式化輸出 
level=indices 表示顯示索引狀態 
level=shards 表示顯示分片資訊 
2、curl -XGET localhost:9200/_cluster/stats?pretty=true 
顯示集群系統資訊,包括CPU JVM等等 
3、curl -XGET localhost:9200/_cluster/state?pretty=true 
叢集的詳細資訊。包括節點、分片等。 
3、curl -XGET localhost:9200/_cluster/pending_tasks?pretty=true 
獲取叢集堆積的任務 
3、修改叢集配置 
舉例:

第四:索引操作 
1、獲取索引 
curl -XGET ‘http://localhost:9200/{index}/{type}/{id}’ 
2、索引資料 
curl -XPOST ‘http://localhost:9200/{index}/{type}/{id}’ -d’{“a”:”avalue”,”b”:”bvalue”}’ 
3、刪除索引 
curl -XDELETE ‘http://localhost:9200/{index}/{type}/{id}’ 
4、設定mapping

curl -XPUT http://localhost:9200/{index}/{type}/_mapping -d ‘{ 
“{type}” : { 
“properties” : { 
“date” : { 
“type” : “long” 
}, 
“name” : { 
“type” : “string”, 
“index” : “not_analyzed” 
}, 
“status” : { 
“type” : “integer” 
}, 
“type” : { 
“type” : “integer” 



}’ 
5、獲取mapping 
curl -XGET 

http://localhost:9200/{index}/{type}/_mapping 
6、搜尋

curl -XGET ‘http://localhost:9200/{index}/{type}/_search’ -d ‘{ 
“query” : { 
“term” : { “user” : “kimchy” } //查所有 “match_all”: {} 
}, 
“sort” : [{ “age” : {“order” : “asc”}},{ “name” : “desc” } ], 
“from”:0, 
“size”:100 

curl -XGET ‘http://localhost:9200/{index}/{type}/_search’ -d ‘{ 
“filter”: {“and”:{“filters”:[{“term”:{“age”:”123”}},{“term”:{“name”:”張三”}}]}, 
“sort” : [{ “age” : {“order” : “asc”}},{ “name” : “desc” } ], 
“from”:0, 
“size”:100 
}

http 查詢方式 

Map<String, Object> allObMap = new HashMap<String, Object>(); 
//查ES 
StringBuffer sbUrl = new StringBuffer(); 
sbUrl.append("http://").append(Config.getInstance().getESSearch()).append("/") 
.append(PrepareForInsertES.getIndex(getlastHourTime(startTime))).append("/") 
.append(PrepareForInsertES.TYPE).append("/").append("_search"); 
// url 格式 "http://192.168.10.20:9200/acceptor-bilog-2017-01-11/bi/_search"; 
// param 格式 {\"query\": {\"term\": {\"time\": 1484096400000}}} ; 
// "{ \"query\": { \"range\": { \"time\": { \"gte\" :1484096400000, \"lte\":1484096500000 } } } }"; 
StringBuffer sbParam = new StringBuffer(); 
sbParam.append("{\"query\": {\"term\": {\"time\":").append(startTime).append("}}}"); 

StringBuffer result = HttpUtil.submitPost(sbUrl.toString(),sbParam.toString());

1、term 的用法 
term檢索,如果content分詞後含有中國這個token,就會檢索到

2、querystring的用法 
querystring檢索,它會先把”中國美國“分詞成中國、美國分別去檢索,然後最後預設是OR的關係

curl -XPOST http://192.168.22.161:9200/index/fulltext/_search -d’ 

“query” : { 
“query_string” : { 
“default_field” : “content”, 
“query” : “中國美國” 


}’

3、 
你也可以明顯的寫成 “query” : “中國 AND 美國” 
或者 “query” : “中國 OR 美國” 
如果你把查詢條件加上雙引號 “query” : “\”中國美國\”” 便類似MySQL裡的like的效果 
4、 
Java客戶端 
–總結– 
java程式都有對應的類和方法。建立索引和設定mapping,這裡就不贅述了,主要是檢索: 
4.1 term搜尋主要是用: 
QueryBuilders.termQuery(“content”, “中國”); 
4.2 querystring搜尋使用: 
QueryStringQueryBuilder queryString = new QueryStringQueryBuilder(“中國 OR 美國”); 
queryString.field(“content”);

Filter DSL

term 過濾 
term主要用於精確匹配哪些值,比如數字,日期,布林值或 not_analyzed 的字串(未經分析的文字資料型別):

{ “term”: { “age”: 26 }} 
{ “term”: { “date”: “2014-09-01” }} 
{ “term”: { “public”: true }} 
{ “term”: { “tag”: “full_text” }}

完整的例子, hostname 欄位完全匹配成 saaap.wangpos.com 的資料:


“query”: { 
“term”: { 
“hostname”: “saaap.wangpos.com” 


}

terms 過濾 
terms 跟 term 有點類似,但 terms 允許指定多個匹配條件。 如果某個欄位指定了多個值,那麼文件需要一起去做匹配:


“terms”: { 
“tag”: [ “search”, “full_text”, “nosql” ] 

}

完整的例子,所有http的狀態是 302 、304 的, 由於ES中狀態是數字型別的欄位,所有這裡我們可以直接這麼寫。:


“query”: { 
“terms”: { 
“status”: [ 
304, 
302 



}

range 過濾 
range過濾允許我們按照指定範圍查詢一批資料:


“range”: { 
“age”: { 
“gte”: 20, 
“lt”: 30 


}

範圍操作符包含:

gt :: 大於 
gte:: 大於等於 
lt :: 小於 
lte:: 小於等於 
一個完整的例子, 請求頁面耗時大於1秒的資料,upstream_response_time 是 nginx 日誌中的耗時,ES中是數字型別。


“query”: { 
“range”: { 
“upstream_response_time”: { 
“gt”: 1 



}

exists 和 missing 過濾 
exists 和 missing 過濾可以用於查詢文件中是否包含指定欄位或沒有某個欄位,類似於SQL語句中的IS_NULL條件.


“exists”: { 
“field”: “title” 

}

這兩個過濾只是針對已經查出一批資料來,但是想區分出某個欄位是否存在的時候使用。

bool 過濾 
bool 過濾可以用來合併多個過濾條件查詢結果的布林邏輯,它包含一下操作符:

must :: 多個查詢條件的完全匹配,相當於 and。 
must_not :: 多個查詢條件的相反匹配,相當於 not。 
should :: 至少有一個查詢條件匹配, 相當於 or。 
這些引數可以分別繼承一個過濾條件或者一個過濾條件的陣列:


“bool”: { 
“must”: { “term”: { “folder”: “inbox” }}, 
“must_not”: { “term”: { “tag”: “spam” }}, 
“should”: [ 
{ “term”: { “starred”: true }}, 
{ “term”: { “unread”: true }} 


}

Query DSL

match_all 查詢 
可以查詢到所有文件,是沒有查詢條件下的預設語句。


“match_all”: {} 
}

此查詢常用於合併過濾條件。 比如說你需要檢索所有的郵箱,所有的文件相關性都是相同的,所以得到的_score為1.

match 查詢 
match查詢是一個標準查詢,不管你需要全文字查詢還是精確查詢基本上都要用到它。

如果你使用 match 查詢一個全文字欄位,它會在真正查詢之前用分析器先分析match一下查詢字元:


“match”: { 
“tweet”: “About Search” 

}

如果用match下指定了一個確切值,在遇到數字,日期,布林值或者not_analyzed 的字串時,它將為你搜索你給定的值:

{ “match”: { “age”: 26 }} 
{ “match”: { “date”: “2014-09-01” }} 
{ “match”: { “public”: true }} 
{ “match”: { “tag”: “full_text” }}

提示: 做精確匹配搜尋時,你最好用過濾語句,因為過濾語句可以快取資料。

match查詢只能就指定某個確切欄位某個確切的值進行搜尋,而你要做的就是為它指定正確的欄位名以避免語法錯誤。

multi_match 查詢 
multi_match查詢允許你做match查詢的基礎上同時搜尋多個欄位,在多個欄位中同時查一個:


“multi_match”: { 
“query”: “full text search”, 
“fields”: [ “title”, “body” ] 

}

bool 查詢 
bool 查詢與 bool 過濾相似,用於合併多個查詢子句。不同的是,bool 過濾可以直接給出是否匹配成功, 而bool 查詢要計算每一個查詢子句的 _score (相關性分值)。

must:: 查詢指定文件一定要被包含。 
must_not:: 查詢指定文件一定不要被包含。 
should:: 查詢指定文件,有則可以為文件相關性加分。 
以下查詢將會找到 title 欄位中包含 “how to make millions”,並且 “tag” 欄位沒有被標為 spam。 如果有標識為 “starred” 或者釋出日期為2014年之前,那麼這些匹配的文件將比同類網站等級高:


“bool”: { 
“must”: { “match”: { “title”: “how to make millions” }}, 
“must_not”: { “match”: { “tag”: “spam” }}, 
“should”: [ 
{ “match”: { “tag”: “starred” }}, 
{ “range”: { “date”: { “gte”: “2014-01-01” }}} 


}

提示: 如果bool 查詢下沒有must子句,那至少應該有一個should子句。但是 如果有must子句,那麼沒有should子句也可以進行查詢。

wildcards 查詢 
使用標準的shell萬用字元查詢

以下查詢能夠匹配包含W1F 7HW和W2F 8HW的文件:

GET /my_index/address/_search 

“query”: { 
“wildcard”: { 
“postcode”: “W?F*HW” 


}

又比如下面查詢 hostname 匹配下面shell萬用字元的:


“query”: { 
“wildcard”: { 
“hostname”: “wxopen*” 


}

regexp 查詢 
假設您只想匹配以W開頭,緊跟著數字的郵政編碼。使用regexp查詢能夠讓你寫下更復雜的模式:

GET /my_index/address/_search 

“query”: { 
“regexp”: { 
“postcode”: “W[0-9].+” 


}

這個正則表示式的規定了詞條需要以W開頭,緊跟著一個0到9的數字,然後是一個或者多個其它字元。

下面例子是所有以 wxopen 開頭的正則


“query”: { 
“regexp”: { 
“hostname”: “wxopen.*” 


}

prefix 查詢 
以什麼字元開頭的,可以更簡單地用 prefix,如下面的例子:


“query”: { 
“prefix”: { 
“hostname”: “wxopen” 


}

短語匹配(Phrase Matching) 
當你需要尋找鄰近的幾個單詞時,你會使用match_phrase查詢:

GET /my_index/my_type/_search 

“query”: { 
“match_phrase”: { 
“title”: “quick brown fox” 



和match查詢類似,match_phrase查詢首先解析查詢字串來產生一個詞條列表。然後會搜尋所有的詞條, 
但只保留含有了所有搜尋詞條的文件,並且詞條的位置要鄰接。一個針對短語quick fox的查詢不會匹配 
我們的任何文件,因為沒有文件含有鄰接在一起的quick和box詞條。 
match_phrase查詢也可以寫成型別為phrase的match查詢:


這裡寫圖片描述


“query”: { 
“range”: { 
“time”: { 
“gte” :1484096300000, 
“lte”:1484096500000 



}