技術標籤：MySQLmysql去重插入

1. 背景

向資料庫插入資料，希望去重插入。

2. 操作一下

一般去重插入有兩種策略：

1. 重複不插入
2. 重複則替換（更新）

準備表：

CREATE TABLE `user_info`  (
  `id` int(11) NOT NULL COMMENT 'id',
  `username` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL COMMENT '姓名',
  `idcard` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NOT
 
 NULL COMMENT '身份證號',
  `nick_name` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '暱稱',
  `remark` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT NULL COMMENT '備註',
  PRIMARY KEY (`id`) USING BTREE,
  UNIQUE INDEX `idcard`(`idcard`) USING BTREE COMMENT
 
 '唯一身份標識'
) ENGINE = InnoDB CHARACTER SET = utf8 COLLATE = utf8_general_ci ROW_FORMAT = Dynamic;

其中 id 是主鍵， idcard是唯一索引。

2.1 重複不插入策略

2.1.1 ignore

-- INSERT IGNORE
INSERT IGNORE INTO user_info (id, username, idcard, nick_name) VALUES (3,'zhangsan', '002', '');

此方案要求有主鍵或唯一索引，且是主鍵或唯一索引重複方可觸發。

2.1.2 條件判斷

-- NOT EXISTS 與ignore類似 重複則不插入
INSERT INTO user_info (id, username, idcard, nick_name) SELECT 1,'張無忌', '001', '-' FROM DUAL WHERE NOT EXISTS (SELECT idcard FROM user_info WHERE idcard = '001') ;

此方案不需要主鍵或唯一索引，當滿足不存在條件時，執行插入

2.2 重複替換策略

2.2.1 ON duplicate KEY UPDATE

-- ON duplicate KEY UPDATE
INSERT INTO user_info (id, username, idcard, nick_name) VALUES (3,'zhangsan', '002', '哈哈') ON DUPLICATE KEY UPDATE username = '王五3',nick_name = '李白';

此方案要求有主鍵或唯一索引，且是主鍵或唯一索引重複方可觸發。
注意：條件觸發後，將是後面update語句生效。

2.2.2 REPLACE INTO

-- REPLACE INTO
REPLACE INTO user_info (id, username, idcard, nick_name) VALUES (1,'張無忌', '001', '-');

此方案要求有主鍵或唯一索引，且是主鍵或唯一索引重複方可觸發。觸發後將替換原有資料。
另外，重複替換策略語句生效後將造成兩條資料影響。