最近在使用ElasticSearch來查詢我們的一些實時資料，中間也遇到不少的問題，今天在此簡單總結記錄一下。es的功能的確十分強大，大部分資料庫能實現的需求，基本在es裡面都能實現，當然兩者都有一些特殊的功能，是雙方不能實現或者不容易實現的。

案例一：

es單個欄位分組後，分頁是個小坑，因為分組結果裡面，只提供了size來限制返回，並沒有類似offset和limit的引數來支援分頁，所以這個地方，一般提供的是top N的分組資料，如果想分頁，只能自己在記憶體中實現。

案例二：

如下面的sql：

select a, b , count(*) as c form t1 group a, b
 
  order by c desc

在es多個欄位分組後，排序都是組內有序，而不是整體資料有序，如果想實現整體資料有序，有兩種解決辦法可以解決：

方法一：

使用agg-script，使用script來實現聚合，這樣唯一的缺點就是大資料量下，耗時比較高。

//多欄位分組
TermsBuilder one = AggregationBuilders.terms("one").script(new Script("doc['stid'].value +'#' + doc['qid'].value"));

方法二：

使用copy欄位，將多維欄位，提供合併成一個欄位，這樣分組時候就可以直接使用這個欄位進行分組，效率較高，但靈活性比較低，如果要是有7,8個欄位都需要兩兩組合分組，那麼索引裡面的冗餘欄位就會多出好多個，索引體積的增大也會影響檢索和聚合效能。

{
  "mappings": {
    "test": {
      "properties": {
        "f": {
          "type": "string",
          "index": "not_analyzed",
          "copy_to": "f_and_g"
        },
        "g": {
          "type": "string",
          "index": "not_analyzed",
          "copy_to": "f_and_g"
        },
        "f_and_g
 
": {
          "type": "string",
          "index": "not_analyzed"
        }
      }
    }
  }
}

當然上面的分組能處理，但是分頁問題依然和案例一是一樣的情況，所有的分組都有這個問題。

案例三：

如下面的sql：

select max(tt.su1),max(tt.su2) 
FROM 
(
select name ,sum(c1) as su1 ,sum(c2) as su2 from tp group by name
) as tt

上面這個sql，是分組某個欄位後，對其中幾個指標進行sum，完事之後，在外層又要取到sum後的某個指標的最大值，這個問題在1.x的es中是不能解決的，但是在2.x之後，es提供了管道聚合，其功能更加強大，類似實現資料裡面的多個子查詢的功能。

下面我們看看如何使用es來完成上面的這個功能：

java程式碼如下：

//構建查詢請求體
        SearchRequestBuilder search = client.prepareSearch("spark").setTypes("spark");

        //分組欄位是id，排序由多個欄位排序組成
        TermsBuilder tb= AggregationBuilders.terms("name").field("name");

        //新增兩個sum指標
        tb.subAggregation(AggregationBuilders.sum("c1").field("c1"));
        tb.subAggregation(AggregationBuilders.sum("c2").field("c2"));

        //新增管道聚合獲取max值
        MaxBucketBuilder maxx=  PipelineAggregatorBuilders.maxBucket("max").setBucketsPaths("name>c1");
        MaxBucketBuilder maxx2=  PipelineAggregatorBuilders.maxBucket("max2").setBucketsPaths("name>c2");



        //封裝聚合實體
        search.addAggregation(maxx);
        search.addAggregation(maxx2);
        search.addAggregation(tb);

        //獲取指標裡面的最大值
        InternalBucketMetricValue imb=search.get().getAggregations().get("max") ;
        InternalBucketMetricValue imb2=search.get().getAggregations().get("max2") ;

        //輸出值的結果
        System.out.println(imb.value());
        System.out.println(imb2.value());



        client.close();

curl如下：

{
  "aggregations" : {
    "max" : {
      "max_bucket" : {
        "buckets_path" : [ "name>c1" ]
      }
    },
    "max2" : {
      "max_bucket" : {
        "buckets_path" : [ "name>c2" ]
      }
    },
    "name" : {
      "terms" : {
        "field" : "name"
      },
      "aggregations" : {
        "c1" : {
          "sum" : {
            "field" : "c1"
          }
        },
        "c2" : {
          "sum" : {
            "field" : "c2"
          }
        }
      }
    }
  }
}

總結：從上面的幾個案例看，es在分組時候的需要考慮的問題要多點，但也大部分都能使用scrpit方式解決，但分組的分頁問題，確實不太好弄，這個地方基本上都是看topN的資料比較方便，如果非要看所有的資料，而且必須分頁，那隻能在記憶體總實現了，所以建議這個地方需要慎重考慮。

有什麼問題可以掃碼關注微信公眾號：我是攻城師(woshigcs)，在後臺留言諮詢。 技術債不能欠，健康債更不能欠， 求道之路，與君同行。