1. 程式人生 > > mongoTemplate查詢大資料過慢

mongoTemplate查詢大資料過慢

先上兩段程式碼 
程式碼一

Query query = new Query();
queryAfter.addCriteria(Criteria.where("id").in(idList));
queryAfter.addCriteria(Criteria.where("time").gte(startTime).lte(endTime));
List<TestEntity> lists = mongoTemplate.find(queryBefore,TestEntity.class);
  • 1
  • 2
  • 3
  • 4

程式碼二

DBObject query1 = new BasicDBObject(); //setup the query criteria 設定查詢條件
query1.put("id", new BasicDBObject("$in", idList));
query1.put("time", (new BasicDBObject("$gte", startTime)).append("$lte", endTime));
DBCursor dbCursor =mongoTemplate.getCollection("testEntity").find(query1);
List<TestEntity> list=new ArrayList<>();
while (dbCursor.hasNext()){
    DBObject object=dbCursor.next();
    TestEntity te=new TestEntity();
    te.setId(object.get("_id").toString());
    te.setTime((Date) object.get("time"));
    list.add(te);
}
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

集合部分截圖:


邏輯很簡單,從testEntity集合中根據id列表和開始結束時間進行文件篩選,但是在大資料量下,差別太大了! 

比如testEntity集合有25萬條文件,查詢出4萬條文件轉換成TestEntity實體類集合,第一種直接轉換成實體要80秒,而第二種耗時1秒不到!我一度還以為是mongo的問題,後來才定位到是程式碼的坑!

所以資料量大的時候還是用原生查詢手動對映成實體類比較快!