1. 程式人生 > >Mongodb批量插入資料

Mongodb批量插入資料

import com.mongodb.client.MongoCollection;
import org.bson.Document;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.boot.test.SpringApplicationConfiguration;
import org.springframework.test.context.junit4.SpringJUnit4ClassRunner;

import javax.annotation.Resource;
import 
java.math.BigDecimal; import java.util.ArrayList; import java.util.Date; import java.util.List; /** * Created by Administrator on 2018/1/23. 13:07 * * @Author: */ @RunWith(SpringJUnit4ClassRunner.class) // SpringJUnit支援,由此引入Spring-Test框架支援! @SpringApplicationConfiguration(classes = Bootstrap.class) // 指定我們SpringBoot工程的Application啟動類
public class BinlogTest { @Resource private MongoClient mongoClient; private static long count = 2000000; @Test public void testBatchInsert() { List<Document> list = new ArrayList<>(); MongoCollection<Document> collection = mongoClient.getDatabase("test").getCollection("book"
); for (int i = 0; i < 2200000; i++){ Document document = new Document(); document.append("id", String.valueOf(count)); Date date = new Date(); document.append("add_time", date); document.append("title", "mongo"+count++); list.add(document); if (i != 0 && i %10000 == 0){ System.out.println("插入" + " " + i + "本書"); collection.insertMany(list); list.clear(); } } } }

相關推薦

Mongodb批量插入資料

import com.mongodb.client.MongoCollection; import org.bson.Document; import org.junit.Test; import or

mongoDB批量插入資料效能分析、索引效率

硬體環境: 一臺華碩筆記本 AMD Athlon(tm) X2 Dual-Core ,1GB 軟體環境: 單機測試 ,非叢集環境 ,python指令碼讀取一個含60W條資料的檔案,插入資料庫。 測試方法: 批量插入n條資料,測試cpu、記憶體、執行時間資料。 測試結果

mongodb批量插入插入資料

@Test public void test200() throws Exception{ MongoControl mongo = new MongoControl("smg", "t_schedule"); List<DBObject> list

mybatis oracle兩種方式批量插入資料

<insert id="addBatch" parameterType="java.util.List">       BEGIN      &

MYSQL 批量插入資料 insert into ON DUPLICATE KEY UPDATE

#批量插入並根據重複資料進行處理 class DF_MYSQL(DBBase):     #定義操作更新時間相關的方法     #獲取上次更新的時間     def __del__(self):       &

35. 批量插入資料,不使用replace操作

題目描述 對於表actor批量插入如下資料,如果資料已經存在,請忽略,不使用replace操作 CREATE TABLE IF NOT EXISTS actor ( actor_id smallint(5) NOT NULL PRIMARY KEY, first_name varchar(45)

34. 批量插入資料

題目描述 對於表actor批量插入如下資料 CREATE TABLE IF NOT EXISTS actor ( actor_id smallint(5) NOT NULL PRIMARY KEY, first_name varchar(45) NOT NULL, last_name varch

Java之JDBC批量插入資料

普通插入方式 10萬條資料,耗時13秒。。。 private String url = "jdbc:mysql://localhost:3306/test01"; private String user = "root"; private String password

Hibernate入門 批量插入資料

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!        

【python】爬蟲篇:python使用psycopg2批量插入資料(三)

本人菜雞,有什麼錯誤,還望大家批評指出,最近在更新python的爬蟲系列,○( ^皿^)っHiahiahia… 該系列暫時總共有3篇文章,連線如下 【python】爬蟲篇:python連線postgresql(一):https://blog.csdn.net/lsr40/article/de

【mybatis】mybatis oracle批量插入資料

參考:mybatis 對 oracle 的批量操作:https://blog.csdn.net/dzhuqiaolun/article/details/54864521 寫法一: <insert id="insertAttractionsBatch" parameterType="ja

mongodb插入資料環節避免資料重複的方法(python)

db['ceshi'].update({'link':job_link},{'$set':product},True) 假設link欄位不想重複,那麼當這個link第一次遇到時,因為True就是預設link不存在的時插入,如果是重複遇到這個link時,會更新link的值。 如果是insert

資料庫之間批量插入資料

package comnf147Package; import java.sql.*; public class DateMigrationLagou { //連線SQLite private Connection getSqlite() throws Exception

資料庫SQL實踐34:批量插入資料

思路: 運用insert into 表名 (列名1,列名2,列名3....)values (values1,values2,....),(values1,values2,....)...; 1.當給所有列插入資料時,加粗的列名可以省略不寫 2.每條資料用逗號分隔,從而實現批量插入 i

資料庫SQL實踐35:批量插入資料,不使用replace操作

思路: SQLite如果不存在則插入,如果存在則忽略 INSERT OR IGNORE INTO tablename VALUES(...); 如果不存在則插入,如果存在則替換 INSERT OR REPLACE INTO tablename VALUES(...); 這裡指的存

EF批量插入資料耗時對比

using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; namespace EF批量插入 { class Progra

Mybatis 進行批量插入資料時,處理已經存在的資料

假設存在一張 學生表:{姓名,年齡,年級} 假設已經存在了小明,小王等學生 這時候將姓名設定為唯一的主鍵或者索引 insert into 學生表 (姓名,年齡,年級) values <foreach collection="list" item="item" separator=

MyBatis+Oracle用foreach標籤實現批量插入資料以及主鍵自增

1.前言          最近做一個批量匯入影像的需求,將多條記錄批量插入資料庫中。解決思路:在程式中封裝一個List集合物件,然後把該集合中的實體插入到資料庫中,因為專案使用了MyBatis,所以打算使用MyBatis的foreach功能進行批量插入。資料庫用的是Ora

Mysql優化批量插入資料

最近為了測試專案,需要在Mysql中插入百萬級測試資料,於是用到了批量插入,自己寫了個簡單的Spring Cloud專案。 開始時執行效率很慢,大概100條/秒,批次的大小也試過1000,2000,5000這三個級別,效率還是很低。 查閱資料發現,mysql連線需要加上 rewriteBatchedSt

Redis利用管道批量插入資料

首先需要構造資料的基本格式,如命令   hmset news105 news_title title105 news_content content105 news_views 28 拆分成以下格式: *8 // 按空格拆分有幾段 $5