Mongodb批量插入資料
import com.mongodb.client.MongoCollection; import org.bson.Document; import org.junit.Test; import org.junit.runner.RunWith; import org.springframework.boot.test.SpringApplicationConfiguration; import org.springframework.test.context.junit4.SpringJUnit4ClassRunner; import javax.annotation.Resource; importjava.math.BigDecimal; import java.util.ArrayList; import java.util.Date; import java.util.List; /** * Created by Administrator on 2018/1/23. 13:07 * * @Author: */ @RunWith(SpringJUnit4ClassRunner.class) // SpringJUnit支援,由此引入Spring-Test框架支援! @SpringApplicationConfiguration(classes = Bootstrap.class) // 指定我們SpringBoot工程的Application啟動類public class BinlogTest { @Resource private MongoClient mongoClient; private static long count = 2000000; @Test public void testBatchInsert() { List<Document> list = new ArrayList<>(); MongoCollection<Document> collection = mongoClient.getDatabase("test").getCollection("book"); for (int i = 0; i < 2200000; i++){ Document document = new Document(); document.append("id", String.valueOf(count)); Date date = new Date(); document.append("add_time", date); document.append("title", "mongo"+count++); list.add(document); if (i != 0 && i %10000 == 0){ System.out.println("插入" + " " + i + "本書"); collection.insertMany(list); list.clear(); } } } }
相關推薦
Mongodb批量插入資料
import com.mongodb.client.MongoCollection; import org.bson.Document; import org.junit.Test; import or
mongoDB批量插入資料效能分析、索引效率
硬體環境: 一臺華碩筆記本 AMD Athlon(tm) X2 Dual-Core ,1GB 軟體環境: 單機測試 ,非叢集環境 ,python指令碼讀取一個含60W條資料的檔案,插入資料庫。 測試方法: 批量插入n條資料,測試cpu、記憶體、執行時間資料。 測試結果
mongodb批量插入插入資料
@Test public void test200() throws Exception{ MongoControl mongo = new MongoControl("smg", "t_schedule"); List<DBObject> list
mybatis oracle兩種方式批量插入資料
<insert id="addBatch" parameterType="java.util.List"> BEGIN &
MYSQL 批量插入資料 insert into ON DUPLICATE KEY UPDATE
#批量插入並根據重複資料進行處理 class DF_MYSQL(DBBase): #定義操作更新時間相關的方法 #獲取上次更新的時間 def __del__(self): &
35. 批量插入資料,不使用replace操作
題目描述 對於表actor批量插入如下資料,如果資料已經存在,請忽略,不使用replace操作 CREATE TABLE IF NOT EXISTS actor ( actor_id smallint(5) NOT NULL PRIMARY KEY, first_name varchar(45)
34. 批量插入資料
題目描述 對於表actor批量插入如下資料 CREATE TABLE IF NOT EXISTS actor ( actor_id smallint(5) NOT NULL PRIMARY KEY, first_name varchar(45) NOT NULL, last_name varch
Java之JDBC批量插入資料
普通插入方式 10萬條資料,耗時13秒。。。 private String url = "jdbc:mysql://localhost:3306/test01"; private String user = "root"; private String password
Hibernate入門 批量插入資料
分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!  
【python】爬蟲篇:python使用psycopg2批量插入資料(三)
本人菜雞,有什麼錯誤,還望大家批評指出,最近在更新python的爬蟲系列,○( ^皿^)っHiahiahia… 該系列暫時總共有3篇文章,連線如下 【python】爬蟲篇:python連線postgresql(一):https://blog.csdn.net/lsr40/article/de
【mybatis】mybatis oracle批量插入資料
參考:mybatis 對 oracle 的批量操作:https://blog.csdn.net/dzhuqiaolun/article/details/54864521 寫法一: <insert id="insertAttractionsBatch" parameterType="ja
mongodb在插入資料環節避免資料重複的方法(python)
db['ceshi'].update({'link':job_link},{'$set':product},True) 假設link欄位不想重複,那麼當這個link第一次遇到時,因為True就是預設link不存在的時插入,如果是重複遇到這個link時,會更新link的值。 如果是insert
資料庫之間批量插入資料
package comnf147Package; import java.sql.*; public class DateMigrationLagou { //連線SQLite private Connection getSqlite() throws Exception
資料庫SQL實踐34:批量插入資料
思路: 運用insert into 表名 (列名1,列名2,列名3....)values (values1,values2,....),(values1,values2,....)...; 1.當給所有列插入資料時,加粗的列名可以省略不寫 2.每條資料用逗號分隔,從而實現批量插入 i
資料庫SQL實踐35:批量插入資料,不使用replace操作
思路: SQLite如果不存在則插入,如果存在則忽略 INSERT OR IGNORE INTO tablename VALUES(...); 如果不存在則插入,如果存在則替換 INSERT OR REPLACE INTO tablename VALUES(...); 這裡指的存
EF批量插入資料耗時對比
using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; namespace EF批量插入 { class Progra
Mybatis 進行批量插入資料時,處理已經存在的資料
假設存在一張 學生表:{姓名,年齡,年級} 假設已經存在了小明,小王等學生 這時候將姓名設定為唯一的主鍵或者索引 insert into 學生表 (姓名,年齡,年級) values <foreach collection="list" item="item" separator=
MyBatis+Oracle用foreach標籤實現批量插入資料以及主鍵自增
1.前言 最近做一個批量匯入影像的需求,將多條記錄批量插入資料庫中。解決思路:在程式中封裝一個List集合物件,然後把該集合中的實體插入到資料庫中,因為專案使用了MyBatis,所以打算使用MyBatis的foreach功能進行批量插入。資料庫用的是Ora
Mysql優化批量插入資料
最近為了測試專案,需要在Mysql中插入百萬級測試資料,於是用到了批量插入,自己寫了個簡單的Spring Cloud專案。 開始時執行效率很慢,大概100條/秒,批次的大小也試過1000,2000,5000這三個級別,效率還是很低。 查閱資料發現,mysql連線需要加上 rewriteBatchedSt
Redis利用管道批量插入資料
首先需要構造資料的基本格式,如命令 hmset news105 news_title title105 news_content content105 news_views 28 拆分成以下格式: *8 // 按空格拆分有幾段 $5