使用curl命令操作elasticsearch And 使用http 查詢ES
第一:_cat系列
_cat系列提供了一系列查詢elasticsearch叢集狀態的介面。你可以通過執行
curl -XGET localhost:9200/_cat
獲取所有_cat系列的操作
=^.^=
/_cat/allocation
/_cat/shards
/_cat/shards/{index}
/_cat/master
/_cat/nodes
/_cat/indices
/_cat/indices/{index}
/_cat/segments
/_cat/segments/{index}
/_cat/count
/_cat/count/{index}
/_cat/recovery
/_cat/recovery/{index}
/_cat/health
/_cat/pending_tasks
/_cat/aliases
/_cat/aliases/{alias}
/_cat/thread_pool
/_cat/plugins
/_cat/fielddata
/_cat/fielddata/{fields}
你也可以後面加一個v,讓輸出內容表格顯示錶頭,舉例
name component version type url
Prometheus analysis-mmseg NA j
Prometheus analysis-pinyin NA j
Prometheus analysis-ik NA j
Prometheus analysis-ik NA j
Prometheus analysis-smartcn 2.1.0 j
Prometheus segmentspy NA s /_plugin/segmentspy/
Prometheus head NA s /_plugin/head/
Prometheus bigdesk NA s /_plugin/bigdesk/
Xandu analysis-ik NA j
Xandu analysis-pinyin NA j
Xandu analysis-mmseg NA j
Xandu analysis-smartcn 2.1.0 j
Xandu head NA s /_plugin/head/
Xandu bigdesk NA s /_plugin/bigdesk/
Onyxx analysis-ik NA j
Onyxx analysis-mmseg NA j
Onyxx analysis-smartcn 2.1.0 j
Onyxx analysis-pinyin NA j
Onyxx head NA s /_plugin/head/
Onyxx bigdesk NA s /_plugin/bigdesk/
第二:_cluster系列
1、查詢設定叢集狀態
curl -XGET localhost:9200/_cluster/health?pretty=true
pretty=true表示格式化輸出
level=indices 表示顯示索引狀態
level=shards 表示顯示分片資訊
2、curl -XGET localhost:9200/_cluster/stats?pretty=true
顯示集群系統資訊,包括CPU JVM等等
3、curl -XGET localhost:9200/_cluster/state?pretty=true
叢集的詳細資訊。包括節點、分片等。
3、curl -XGET localhost:9200/_cluster/pending_tasks?pretty=true
獲取叢集堆積的任務
3、修改叢集配置
舉例:
第四:索引操作
1、獲取索引
curl -XGET ‘http://localhost:9200/{index}/{type}/{id}’
2、索引資料
curl -XPOST ‘http://localhost:9200/{index}/{type}/{id}’ -d’{“a”:”avalue”,”b”:”bvalue”}’
3、刪除索引
curl -XDELETE ‘http://localhost:9200/{index}/{type}/{id}’
4、設定mapping
curl -XPUT http://localhost:9200/{index}/{type}/_mapping -d ‘{
“{type}” : {
“properties” : {
“date” : {
“type” : “long”
},
“name” : {
“type” : “string”,
“index” : “not_analyzed”
},
“status” : {
“type” : “integer”
},
“type” : {
“type” : “integer”
}
}
}
}’
5、獲取mapping
curl -XGET
6、搜尋
curl -XGET ‘http://localhost:9200/{index}/{type}/_search’ -d ‘{
“query” : {
“term” : { “user” : “kimchy” } //查所有 “match_all”: {}
},
“sort” : [{ “age” : {“order” : “asc”}},{ “name” : “desc” } ],
“from”:0,
“size”:100
}
curl -XGET ‘http://localhost:9200/{index}/{type}/_search’ -d ‘{
“filter”: {“and”:{“filters”:[{“term”:{“age”:”123”}},{“term”:{“name”:”張三”}}]},
“sort” : [{ “age” : {“order” : “asc”}},{ “name” : “desc” } ],
“from”:0,
“size”:100
}
http 查詢方式
Map<String, Object> allObMap = new HashMap<String, Object>();
//查ES
StringBuffer sbUrl = new StringBuffer();
sbUrl.append("http://").append(Config.getInstance().getESSearch()).append("/")
.append(PrepareForInsertES.getIndex(getlastHourTime(startTime))).append("/")
.append(PrepareForInsertES.TYPE).append("/").append("_search");
// url 格式 "http://192.168.10.20:9200/acceptor-bilog-2017-01-11/bi/_search";
// param 格式 {\"query\": {\"term\": {\"time\": 1484096400000}}} ;
// "{ \"query\": { \"range\": { \"time\": { \"gte\" :1484096400000, \"lte\":1484096500000 } } } }";
StringBuffer sbParam = new StringBuffer();
sbParam.append("{\"query\": {\"term\": {\"time\":").append(startTime).append("}}}");
StringBuffer result = HttpUtil.submitPost(sbUrl.toString(),sbParam.toString());
1、term 的用法
term檢索,如果content分詞後含有中國這個token,就會檢索到
2、querystring的用法
querystring檢索,它會先把”中國美國“分詞成中國、美國分別去檢索,然後最後預設是OR的關係
curl -XPOST http://192.168.22.161:9200/index/fulltext/_search -d’
{
“query” : {
“query_string” : {
“default_field” : “content”,
“query” : “中國美國”
}
}
}’
3、
你也可以明顯的寫成 “query” : “中國 AND 美國”
或者 “query” : “中國 OR 美國”
如果你把查詢條件加上雙引號 “query” : “\”中國美國\”” 便類似MySQL裡的like的效果
4、
Java客戶端
–總結–
java程式都有對應的類和方法。建立索引和設定mapping,這裡就不贅述了,主要是檢索:
4.1 term搜尋主要是用:
QueryBuilders.termQuery(“content”, “中國”);
4.2 querystring搜尋使用:
QueryStringQueryBuilder queryString = new QueryStringQueryBuilder(“中國 OR 美國”);
queryString.field(“content”);
Filter DSL
term 過濾
term主要用於精確匹配哪些值,比如數字,日期,布林值或 not_analyzed 的字串(未經分析的文字資料型別):
{ “term”: { “age”: 26 }}
{ “term”: { “date”: “2014-09-01” }}
{ “term”: { “public”: true }}
{ “term”: { “tag”: “full_text” }}
完整的例子, hostname 欄位完全匹配成 saaap.wangpos.com 的資料:
{
“query”: {
“term”: {
“hostname”: “saaap.wangpos.com”
}
}
}
terms 過濾
terms 跟 term 有點類似,但 terms 允許指定多個匹配條件。 如果某個欄位指定了多個值,那麼文件需要一起去做匹配:
{
“terms”: {
“tag”: [ “search”, “full_text”, “nosql” ]
}
}
完整的例子,所有http的狀態是 302 、304 的, 由於ES中狀態是數字型別的欄位,所有這裡我們可以直接這麼寫。:
{
“query”: {
“terms”: {
“status”: [
304,
302
]
}
}
}
range 過濾
range過濾允許我們按照指定範圍查詢一批資料:
{
“range”: {
“age”: {
“gte”: 20,
“lt”: 30
}
}
}
範圍操作符包含:
gt :: 大於
gte:: 大於等於
lt :: 小於
lte:: 小於等於
一個完整的例子, 請求頁面耗時大於1秒的資料,upstream_response_time 是 nginx 日誌中的耗時,ES中是數字型別。
{
“query”: {
“range”: {
“upstream_response_time”: {
“gt”: 1
}
}
}
}
exists 和 missing 過濾
exists 和 missing 過濾可以用於查詢文件中是否包含指定欄位或沒有某個欄位,類似於SQL語句中的IS_NULL條件.
{
“exists”: {
“field”: “title”
}
}
這兩個過濾只是針對已經查出一批資料來,但是想區分出某個欄位是否存在的時候使用。
bool 過濾
bool 過濾可以用來合併多個過濾條件查詢結果的布林邏輯,它包含一下操作符:
must :: 多個查詢條件的完全匹配,相當於 and。
must_not :: 多個查詢條件的相反匹配,相當於 not。
should :: 至少有一個查詢條件匹配, 相當於 or。
這些引數可以分別繼承一個過濾條件或者一個過濾條件的陣列:
{
“bool”: {
“must”: { “term”: { “folder”: “inbox” }},
“must_not”: { “term”: { “tag”: “spam” }},
“should”: [
{ “term”: { “starred”: true }},
{ “term”: { “unread”: true }}
]
}
}
Query DSL
match_all 查詢
可以查詢到所有文件,是沒有查詢條件下的預設語句。
{
“match_all”: {}
}
此查詢常用於合併過濾條件。 比如說你需要檢索所有的郵箱,所有的文件相關性都是相同的,所以得到的_score為1.
match 查詢
match查詢是一個標準查詢,不管你需要全文字查詢還是精確查詢基本上都要用到它。
如果你使用 match 查詢一個全文字欄位,它會在真正查詢之前用分析器先分析match一下查詢字元:
{
“match”: {
“tweet”: “About Search”
}
}
如果用match下指定了一個確切值,在遇到數字,日期,布林值或者not_analyzed 的字串時,它將為你搜索你給定的值:
{ “match”: { “age”: 26 }}
{ “match”: { “date”: “2014-09-01” }}
{ “match”: { “public”: true }}
{ “match”: { “tag”: “full_text” }}
提示: 做精確匹配搜尋時,你最好用過濾語句,因為過濾語句可以快取資料。
match查詢只能就指定某個確切欄位某個確切的值進行搜尋,而你要做的就是為它指定正確的欄位名以避免語法錯誤。
multi_match 查詢
multi_match查詢允許你做match查詢的基礎上同時搜尋多個欄位,在多個欄位中同時查一個:
{
“multi_match”: {
“query”: “full text search”,
“fields”: [ “title”, “body” ]
}
}
bool 查詢
bool 查詢與 bool 過濾相似,用於合併多個查詢子句。不同的是,bool 過濾可以直接給出是否匹配成功, 而bool 查詢要計算每一個查詢子句的 _score (相關性分值)。
must:: 查詢指定文件一定要被包含。
must_not:: 查詢指定文件一定不要被包含。
should:: 查詢指定文件,有則可以為文件相關性加分。
以下查詢將會找到 title 欄位中包含 “how to make millions”,並且 “tag” 欄位沒有被標為 spam。 如果有標識為 “starred” 或者釋出日期為2014年之前,那麼這些匹配的文件將比同類網站等級高:
{
“bool”: {
“must”: { “match”: { “title”: “how to make millions” }},
“must_not”: { “match”: { “tag”: “spam” }},
“should”: [
{ “match”: { “tag”: “starred” }},
{ “range”: { “date”: { “gte”: “2014-01-01” }}}
]
}
}
提示: 如果bool 查詢下沒有must子句,那至少應該有一個should子句。但是 如果有must子句,那麼沒有should子句也可以進行查詢。
wildcards 查詢
使用標準的shell萬用字元查詢
以下查詢能夠匹配包含W1F 7HW和W2F 8HW的文件:
GET /my_index/address/_search
{
“query”: {
“wildcard”: {
“postcode”: “W?F*HW”
}
}
}
又比如下面查詢 hostname 匹配下面shell萬用字元的:
{
“query”: {
“wildcard”: {
“hostname”: “wxopen*”
}
}
}
regexp 查詢
假設您只想匹配以W開頭,緊跟著數字的郵政編碼。使用regexp查詢能夠讓你寫下更復雜的模式:
GET /my_index/address/_search
{
“query”: {
“regexp”: {
“postcode”: “W[0-9].+”
}
}
}
這個正則表示式的規定了詞條需要以W開頭,緊跟著一個0到9的數字,然後是一個或者多個其它字元。
下面例子是所有以 wxopen 開頭的正則
{
“query”: {
“regexp”: {
“hostname”: “wxopen.*”
}
}
}
prefix 查詢
以什麼字元開頭的,可以更簡單地用 prefix,如下面的例子:
{
“query”: {
“prefix”: {
“hostname”: “wxopen”
}
}
}
短語匹配(Phrase Matching)
當你需要尋找鄰近的幾個單詞時,你會使用match_phrase查詢:
GET /my_index/my_type/_search
{
“query”: {
“match_phrase”: {
“title”: “quick brown fox”
}
}
}
和match查詢類似,match_phrase查詢首先解析查詢字串來產生一個詞條列表。然後會搜尋所有的詞條,
但只保留含有了所有搜尋詞條的文件,並且詞條的位置要鄰接。一個針對短語quick fox的查詢不會匹配
我們的任何文件,因為沒有文件含有鄰接在一起的quick和box詞條。
match_phrase查詢也可以寫成型別為phrase的match查詢:
{
“query”: {
“range”: {
“time”: {
“gte” :1484096300000,
“lte”:1484096500000
}
}
}
}