MySQL中批量insert into時防止更新插入重複資料去重的方法，主要是講到了ignore,Replace,ON DUPLICATE KEY UPDATE三種方法

方案一：使用ignore關鍵字

如果是用主鍵primary或者唯一索引unique區分了記錄的唯一性,避免重複插入記錄可以使用：

INSERTIGNOREINTO`table_name`(`email`,`phone`,`user_id`)VALUES('[email protected]','13112345678','9999');

這樣當有重複記錄就會忽略,執行後返回數字0

還有個應用就是複製表,避免重複記錄：

INSERTIGNOREINTO`table_1`(`name`)SELECT`name`FROM`table_2`;

方案二：使用Replace

語法格式：

程式碼如下:

REPLACEINTO`table_name`(`col_name`,...)VALUES(...);
REPLACEINTO`table_name`(`col_name`,...)SELECT...;
REPLACEINTO`table_name`SET`col_name`='value',

...演算法說明：

REPLACE的執行與INSERT很相像,但是如果舊記錄與新記錄有相同的值，則在新記錄被插入之前，舊記錄被刪除，即：

嘗試把新行插入到表中

當因為對於主鍵或唯一關鍵字出現重複關鍵字錯誤而造成插入失敗時：

從表中刪除含有重複關鍵字值的衝突行

再次嘗試把新行插入到表中

舊記錄與新記錄有相同的值的判斷標準就是：

表有一個PRIMARY KEY或UNIQUE索引，否則，使用一個REPLACE語句沒有意義。該語句會與INSERT相同，因為沒有索引被用於確定是否新行復制了其它的行。

返回值：

REPLACE語句會返回一個數，來指示受影響的行的數目。該數是被刪除和被插入的行數的和

受影響的行數可以容易地確定是否REPLACE只添加了一行，或者是否REPLACE也替換了其它行：檢查該數是否為1（新增）或更大（替換）。

示例:

# eg:(phone欄位為唯一索引)

REPLACEINTO`table_name`(`email`,`phone`,`user_id`)VALUES('[email protected]','13112345678','123');

另外,在 SQL Server 中可以這樣處理：

複製程式碼程式碼如下:

ifnotexists(selectphonefromtwherephone='1')insertintot(phone,update_time)values('1',getdate())elseupdatetsetupdate_time=getdate()wherephone='1'

方案三：ON DUPLICATE KEY UPDATE

如‍上所寫，你也可以在INSERT INTO…..後面加上 ON DUPLICATE KEY UPDATE方法來實現。如果您指定了ON DUPLICATE KEY UPDATE，並且插入行後會導致在一個UNIQUE索引或PRIMARY KEY中出現重複值，則執行舊行UPDATE。

例如，如果列a被定義為UNIQUE，並且包含值1，則以下兩個語句具有相同的效果：

複製程式碼程式碼如下:

INSERTINTO`table`(`a`,`b`,`c`)VALUES(1,2,3)ONDUPLICATEKEYUPDATE`c`=`c`+1;
UPDATE`table`SET`c`=`c`+1WHERE`a`=1;

如果行作為新記錄被插入，則受影響行的值為1；如果原有的記錄被更新，則受影響行的值為2。

註釋：如果列b也是唯一列，則INSERT與此UPDATE語句相當：

複製程式碼程式碼如下:

UPDATE`table`SET`c`=`c`+1WHERE`a`=1OR`b`=2LIMIT1;

如果a=1 OR b=2與多個行向匹配，則只有一個行被更新。通常，您應該儘量避免對帶有多個唯一關鍵字的表使用ON DUPLICATE KEY子句。

您可以在UPDATE子句中使用VALUES(col_name)函式從INSERT…UPDATE語句的INSERT部分引用列值。換句話說，如果沒有發生重複關鍵字衝突，則UPDATE子句中的VALUES(col_name)可以引用被插入的col_name的值。本函式特別適用於多行插入。VALUES()函式只在INSERT…UPDATE語句中有意義，其它時候會返回NULL。

複製程式碼程式碼如下:

INSERTINTO`table`(`a`,`b`,`c`)VALUES(1,2,3),(4,5,6)ONDUPLICATEKEYUPDATE`c`=VALUES(`a`)+VALUES(`b`);

本語句與以下兩個語句作用相同：

複製程式碼程式碼如下:

INSERTINTO`table`(`a`,`b`,`c`)VALUES(1,2,3)ONDUPLICATEKEYUPDATE`c`=3;
INSERTINTO`table`(`a`,`b`,`c`)VALUES(4,5,6)ONDUPLICATEKEYUPDATEc=9;

註釋：當您使用ON DUPLICATE KEY UPDATE時，DELAYED選項被忽略。

示例：

這個例子是我在實際專案中用到的：是將一個表的資料匯入到另外一個表中，資料的重複性就得考慮(如下)，唯一索引為：email：

複製程式碼程式碼如下:

INSERTINTO`table_name1`(`title`,`first_name`,`last_name`,`email`,`phone`,`user_id`,`role_id`,`status`,`campaign_id`)
SELECT'','','',`table_name2`.`email`,`table_name2`.`phone`,NULL,NULL,'pending',29FROM`table_name2`
WHERE`table_name2`.`status`=1
ONDUPLICATEKEYUPDATE`table_name1`.`status`='pending'

再貼一個例子：

複製程式碼程式碼如下:

INSERTINTO`class`SELECT*FROM`class1`ONDUPLICATEKEYUPDATE`class`.`course`=`class1`.`course`

其它關鍵：DELAYED 做為快速插入，並不是很關心失效性，提高插入效能。

IGNORE 只關注主鍵對應記錄是不存在，無則新增，有則忽略。

特別說明：在MYSQL中UNIQUE索引將會對null欄位失效，也就是說(a欄位上建立唯一索引)：

複製程式碼程式碼如下:

INSERTINTO`test`(`a`)VALUES(NULL);

是可以重複插入的（聯合唯一索引也一樣）。

在插入大量資料時可能同時遇到兩個問題：

如果每條更新執行一次sql效能很低，也容易造成阻塞；

批量插入時又有可能遇到主鍵 或者 唯一索引重複的問題，導致整個批量插入失敗

使用 ON DUPLICATE KEY UPDATE 一條sql解決批量插入和主鍵或者唯一索引重複問題

舉例如下：

表結構如下：

createtablemytable(
idintnotnull,
codechar(6)notnull,
descriptionchar(50)null,
numberintnotnull,
namechar(50)notnull,
primarykeyid,
uniquekeyuk_mytable_code(code));

批量插入如下：

INSERTINTOmytable(id,code,description,number,name)
VALUES(?,?,?,?,?),(?,?,?,?,?),(?,?,?,?,?)
ONDUPLICATEKEYUPDATEdescription=VALUES(description),number=VALUES(number)

//description=VALUES(description)，number = VALUES(number) 表示出現在values中某列的id欄位值與表中已有id欄位值重複

(或者code的值與表中已有code欄位值重複)時，會更新對應已存在記錄的這兩個欄位

//還可以指定其它值或進行運算：number=number+ 1，number=number- 1

//因為這裡未指定列name, 所以遇到重複id（或者code）列，表中該列的name欄位不會更新

//如果某列作為新記錄被插入，則受影響行的值為1；如果表中原有的記錄被更新，則受影響行的值為2

Sqlite批量操作時防止插入重複資料的方法：

在SQLITE中，可以用以下方法防止插入重複資料，

1.設定表的聯合主鍵

2.在INSERT語句中新增OR IGNORE，即可（重複資料會跳過，且不影響後續資料插入）

示例如下：

insert OR IGNORE into PDA_Test (DeviceID,MethodName) values('1112','測試原有');

sqlite避免重複插入資料。

SQLite 資料庫常用約束如下：

NOT NULL - 非空
UNIQUE - 唯一
PRIMARY KEY - 主鍵
FOREIGN KEY - 外來鍵
CHECK - 條件檢查
DEFAULT - 預設

用insert語句插入資料，為避免重複插入又不打斷資料處理。

首先要避免重複插入，就必須在插入時引發衝突。在表中設定了id欄位，該欄位為UNIQUE屬性，當插入的id已存在時引發衝突。

引發衝突後insert會做一些處理，處理方式由OR字句定義。包含如下：

ROLLBACK當發生約束衝突，立即ROLLBACK，即結束當前事務處理，命令中止並返回SQLITE_CONSTRAINT程式碼。若當前無活動事務(除了每一條命令建立的預設事務以外)，則該演算法與ABORT相同。
ABORT當發生約束衝突，命令收回已經引起的改變並中止返回SQLITE_CONSTRAINT。但由於不執行ROLLBACK，所以前面的命令產生的改變將予以保留。預設採用這一行為。
FAIL當發生約束衝突，命令中止返回SQLITE_CONSTRAINT。但遇到衝突之前的所有改變將被保留。例如，若一條UPDATE語句在100行遇到衝突100th，前99行的改變將被保留，而對100行或以後的改變將不會發生。
IGNORE當發生約束衝突，發生衝突的行將不會被插入或改變。但命令將照常執行。在衝突行之前或之後的行將被正常的插入和改變，且不返回錯誤資訊。
REPLACE當發生UNIQUE約束衝突，先存在的，導致衝突的行在更改或插入發生衝突的行之前被刪除。這樣，更改和插入總是被執行。命令照常執行且不返回錯誤資訊。當發生NOT NULL約束衝突，導致衝突的NULL值會被欄位預設值取代。若欄位無預設值，執行ABORT演算法

Sqlite執行insert or ignore 或insert or replace語句。

insertorreplaceintocardlog(mid,type)values(7,0);
insertorignoreintocardlog(mid,type)values(7,0);

上面的第一條語句是每次執行時，如果不存在，則新增，如果存在，則更新。

上面的第二條語句是每次執行時，如果不存在，則新增，如果存在，則不操作。

在MSSQL中，你可以使用諸如：

IFNOTEXISTS(SELECT*FROMBookWHERE….)THENINSERTINTO...ELSEUPDATESET...

轉自連結：https://www.365jz.com/article/24852，侵刪